Imprevisibilidade regulatória no direito internacional no que diz respeito a sistemas de armas letais e autônomos
Para citar este artículo/To reference this article/Para citar este artigo: Almache Barreiro, J. C., & Albert Márquez, J. J. (2024). Imprevisibilidad normativa en el Derecho Internacional respecto a los sistemas de armas autónomas letales. Revista Logos Ciencia & Tecnología, 16 (1), 16-31. https://doi.org/10.22335/rlct.v16i1.1875
Los sistemas de armas autónomas letales (SAAL) son entidades cibernéticas capaces de seleccionar y atacar objetivos sin la intervención humana directa, soportadas en inteligencia artificial (IA), en contraposición a las armas convencionales, que son controladas por seres humanos. El objetivo de esta investigación consiste en exteriorizar la incompatibilidad jurídica de los SAAL frente a los principios de precaución, proporcionalidad y distinción insertos en el Derecho Internacional Humanitario que han sido configurados únicamente para seres humanos; así como identificar la evidente moratoria para filtrar/optimizar –como nueva arma– la hoy crítica utilización de estos sistemas, que evidencia la carencia de facultad penal internacional que aflora normativamente a raíz de la indistinción del dolo tecnológico, y la necesidad de configurar imparcialidad en el poder de veto de las decisiones sustanciales de arreglo pacífico o no del Consejo de Seguridad de la ONU, producto de su imprevisibilidad jurídica contemporánea. Las conclusiones instituyen que resulta indispensable una jurisdicción permanente y una competencia universal para su aplicabilidad, que debería regirse con un potencial instrumento internacional de regulación de uso de los SAAL en correlación con las normas consuetudinarias aplicables.
Palabras clave: SAAL, IA, derecho internacional humanitario.
The lethal autonomous weapon systems -LAW- are cybernetic entities capable of selecting and attacking targets without direct human intervention, supported by Artificial Intelligence -AI-, as opposed to conventional weapons, which are controlled by human beings. The objective of this research is to externalise the legal incompatibility of LAWs with respect to the principles of precaution, proportionality and distinction inserted in International Humanitarian Law that have been configured only for human beings as well as to identify the evident moratorium to filter/optimise -as a new weapon- the current critical use of these systems, evidencing the lack of international criminal power that emerges normatively as a result of the indistinction of technological malice, and the need to configure impartiality in the veto power of the substantial decisions regarding peaceful or non-peaceful settlements of the UN Security Council, as a result of their contemporary legal unpredictability. The conclusions aver that a permanent jurisdiction and universal competence are indispensable for their applicability, which should be governed by a potential international instrument regulating the use of LAWs in correlation with the applicable customary norms.
Keywords: LAWs, AI, international humanitarian law.
Os sistemas de armas letais autónomas (LAWS) são entidades cibernéticas capazes de selecionar e atacar alvos sem intervenção humana direta, apoiadas pela inteligência artificial (IA), em oposição às armas convencionais, que são controladas por humanos. O objetivo desta pesquisa é externalizar a incompatibilidade jurídica do LAWS diante dos princípios da precaução, da proporcionalidade e da distinção inseridos no Direito Internacional Humanitário que se configuraram apenas para os seres humanos; bem como identificar a evidente moratória para filtrar/otimizar – como nova arma – o uso atualmente crítico destes sistemas, o que mostra a falta de poder criminoso internacional que emerge normativamente como resultado da indistinção da fraude tecnológica, e a necessidade de configuram a imparcialidade no poder de vetar decisões substanciais sobre se um acordo pacífico é ou não mantido pelo Conselho de Segurança da ONU, um produto da sua imprevisibilidade jurídica contemporânea. As conclusões estabelecem que uma jurisdição permanente e uma competência universal são essenciais para a sua aplicabilidade, que deve ser regida por um potencial instrumento internacional para regular o uso do LAWS em correlação com as normas consuetudinárias aplicáveis.
Palavras-chave: LAWS, IA, direito internacional humanitário.
Históricamente, las sociedades han optado por el desarrollo de investigaciones para la obtención de tecnologías capaces de brindar mayor protección y poderío bélico, lo que lleva a que se generen una serie de prototipos armamentísticos que, de acuerdo con Meza (2019), resuelven decantarse por armas de seguimiento, control y ataque con funciones cada vez más independientes que pueden, incluso, desenvolverse por vía área o naval, sin tripulación alguna.
En la era de la inteligencia artificial (IA), el desequilibrio entre el avance tecnológico y la regulación jurídica que debería irradiarlo, desencadena discusiones respecto a los potenciales riesgos que afectan al Derecho Internacional Humanitario (DIH), neurálgicamente en los conflictos belicistas internacionales y no internacionales frente a la excluyente relación de los principios de distinción, precaución y proporcionalidad insertos en el Protocolo Adicional I del Convenio de Ginebra (1949); al enfrentarse robot versus humanos, en el que irrumpe –en sus primeras etapas– un ente tecnológico como es el caso de los sistemas de armas autónomas letales (SAAL) como configuraciones de armamento que, basadas en la IA, son capaces de identificar, seleccionar y atacar objetivos, sin necesidad de intervención humana.
Si bien los SAAL pueden considerarse una forma de armamento más focalizable y precisa en comparación con las armas de explosión expansiva, como las nucleares, aquellas suponen una serie de desafíos éticos, legales y políticos que, de acuerdo con Heyns (2013), requieren atención inmediata de la comunidad internacional; puesto que, a decir de la Comisión Internacional de Juristas (2014), no existe normativa específica que regule su uso en el campo de batalla. Según Chávez et al. (2019), el uso de los SAAL, debido a la no identificación del dolo tecnológico, promueve la impunidad y dificulta la atribución de responsabilidad por la comisión de hechos ilícitos, graves violaciones al DIH o crímenes de guerra, vulnerando también los presupuestos básicos de la responsabilidad internacional.
Entonces, ¿es necesaria una optimización jurídica del DIH para regular los SAAL? Para dar respuesta a esta interrogante, el objetivo de esta investigación no se limita a la evaluación de la incompatibilidad jurídica de estos sistemas con los principios de distinción [art. 48 del Protocolo I del Convenio de Ginebra (1977) –de aquí en más PI CG– y normas consuetudinarias 1 a 10 del DIH], proporcionalidad [(art. 51.4.c PI GC) y norma consuetudinaria 14 del DIH] y precaución [(art. 57.2.a.1 PI CG) y normas consuetudinarias 15 a 24 del DIH], que fueron originalmente concebidas para la aplicación en entornos con la voluntad belicista de agentes humanos, pero la identificación de los SAAL como un nuevo tipo de armamento no acoplable a aquellos instrumentos jurídicos.
Este estudio destaca la necesidad de abordar la carencia de poder sancionatorio de la responsabilidad criminal internacional, como consecuencia de la falta de discernimiento informático en la intención de los SAAL; así como la importancia de reconfigurar la imparcialidad en el ejercicio del poder de veto en las decisiones sustanciales del Consejo de Seguridad de las Naciones Unidas, especialmente en el contexto del uso de estos sistemas, que plantean desafíos considerables debido a su imprevisibilidad desde una perspectiva jurídica contemporánea.
Desde el punto de vista metodológico, esta investigación aborda la problemática de los SAAL en el DIH, adoptando un enfoque cualitativo con métodos propios de la investigación jurídica, como el método histórico-lógico, el método normativo, el método sociojurídico y el método teórico-jurídico; para cuyo efecto se emplea la revisión bibliográfica y documental como técnica de recolección de la información.
Los SAAL, de acuerdo con Meza (2019), se constituyen en sistemas altamente sofisticados que proyectan riesgos indescifrables en su autodeterminación tecnológica de ataque; de tal suerte que una vez activados no existe retroactividad decisional de control humano, constituyéndose en una revolución tecnocientífica bélica imprevisible, capaz de ejecutar funciones decisionales críticas de atacar, en tanto que “podrían ser capaces de detectar a personas y matarlas con una mínima participación humana, o sin necesidad de un control o una autorización procedentes directamente de seres humanos” (p. 43).
En contexto, los SAAL son sistemas capaces de procesar la información de su entorno y responder con ataques independientes, pudiendo ser completamente autónomos y letales en función de las misiones que se les asignen (Heyns, 2016). De ahí que Meza (2019) singularice sus características más relevantes, a saber: no requieren control humano, funcionan de forma autónoma, gozan de un modelo adaptativo de autoaprendizaje (machine learning), pueden seleccionar y atacar objetos automáticamente, su nivel de entendimiento es superior, siendo capaces de interiorizar intenciones y direcciones, considerándose medios técnicos no tripulados porque no requieren la participación de un operador.
Ahora bien, dada la dependencia y autonomía funcional de estas armas, los problemas radican en el hecho de que pueden ser utilizadas por actores no estatales y para fines no previstos en acciones militares, lo que aumenta la preocupación en torno a su uso y control. De hecho, Human Rights Watch (2013) destaca que el uso de los SAAL representa un peligro potencial a la aplicabilidad esencial de los derechos humanos, y hace un llamado a la regulación jurídica por parte de los Estados.
En este óbice, se identifica una serie de riesgos, siendo el principal la falta de poder humano en la toma de decisiones letales y seguido de la dificultad para atribuir responsabilidades en caso de errores, así como la escalada de conflictos por la velocidad y precisión en la selección de objetivos; con todo, a pesar de dichos riesgos potenciales, la comunidad mundial carece de instrumentos jurídicos internacionales que regulen su desarrollo y uso específico (Human Rights Watch, 2012).
El primer incidente real punible del riesgo potencial de uso de los SAAL se materializó en un documento oficial del Consejo de Seguridad No. S/221/229 de la Organización de Naciones Unidas (ONU, 2021), donde se informó que drones militarizados STM-Kargu-2 de fabricación turca, habrían atacado por primera vez a combatientes que conducían convoyes militares, de forma totalmente independiente y sin la guía u órdenes oficiales, cuando estos se encontraban en retirada luego de un ataque primario con armas convencionales, conduciendo las hostilidades a la no supervivencia de combatientes (guerra sin cuartel); lo cual implicaría un potencial crimen de guerra, al generar bajas personales. Hecho ocurrido en marzo de 2020 durante el conflicto civil en Libia, tal como lo escenificó el programa Slaughterbot de la organización sin fines de lucro Campaign to stop killer robots, que muestra en un cortometraje la posible creación de un enjambre de drones autónomos que realizan ataques selectivos sin intervención humana directa (Campaign to stop killer robots, 2017), así como se identificó en un estudio pasado, respecto a este particularísimo escenario (Almache Barreiro & Albert Márquez, 2023).
Frente a este crucial entorno, Tegmark (2018) resalta que si bien es tentador optar por la rapidez y la eficacia de los SAAL, que incluso en un futuro “podrían hacer innecesaria toda intervención humana usando un algoritmo para elegir sus objetivos y a quién matar”, también es un problema jurídico latente que trasgrede por completo la salvaguarda de los principios de distinción, proporcionalidad y precaución en el DIH y el derecho consuetudinario invocado anteriormente, debido a la indeterminación de la intencionalidad tecnológica militar o beligerante. De ahí que Heyns (2013) propuso adoptar una moratoria internacional respecto de su uso mientras se discute la posibilidad de prohibirlos por completo.
En sentido sinalagmático, Scharre (2016) indica que la ausencia de normas claras en el DIH con relación a los SAAL ha creado un vacío legal en cuanto a la regulación de su uso en conflictos armados. En particular, se ha planteado la cuestión de la responsabilidad estatal y criminal en caso de que estas armas causen daños a civiles o infraestructuras no militares; además, de que la falta de una definición clara de SAAL dificultaría la supervisión y regulación de estas armas. Dentro de este contexto, el Comité Internacional de la Cruz Roja (2022) engloba la noción de “arma autónoma letal”, resumiéndola como aquellas que eligen blancos y ejecutan acciones violentas sin intervención humana, generando inquietud debido a la carencia de juicio humano en la aplicación de la fuerza.
Finalmente y de acuerdo con Arkin (2009), el problema no está en el desarrollo de estos dispositivos autónomos, sino en su falta de regulación; pues argumenta que la tecnología autónoma puede ser utilizada para mejorar la precisión y minimizar las bajas civiles en el campo de batalla, pero solo si se implementan sistemas de control adecuados que limiten el riesgo de errores y abusos, implicando la necesidad de su aplicabilidad instrumental y tecnológicamente regulada, contexto necesario para abordar el tema estudiado de manera multidisciplinar.
De hecho, dado que existen ciertos tratados internacionales como la Convención sobre la prohibición de armas bacteriológicas y sobre su destrucción (1972), la Convención sobre prohibiciones o restricciones del empleo de ciertas armas convencionales que puedan considerarse excesivamente nocivas o de efectos indiscriminados (1980) y la Convención sobre la prohibición de las minas antipersonal y sobre su destrucción (1997), que regulan el uso de armas en general, estos resultan inefectivos frente al arquetipo tecnológico de una sola activación por el ser humano y los vacíos jurídicos que potencializan la amenaza real a la vida humana, que suponen los SAAL en conflictos armados.
Únicamente tiene algún efecto jurídico enunciativo la Cláusula Martens, que se encuentra en el Preámbulo del II Convención de La Haya (1899), relativa a las leyes y costumbres de la guerra terrestre, que se amalgama como un principio del DIH pero que no restringe coercitivamente ni configura responsabilidades jurídicas; citando:
Mientras que se forma un Código más completo de las leyes de la guerra, las Altas Partes Contratantes juzgan oportuno declarar que, en los casos no comprendidos en las disposiciones reglamentarias adoptadas por ellas, las poblaciones y los beligerantes permanecen bajo la garantía y el régimen de los principios del Derecho de Gentes preconizados por los usos establecidos entre las naciones civilizadas, por las leyes de la humanidad y por las exigencias de la conciencia pública.
En este sentido, la comunidad internacional ha evidenciado la necesidad de una regulación en el desarrollo y uso de las SAAL. Por ejemplo, el Grupo de Expertos Gubernamentales de las Naciones Unidas sobre Sistemas Autónomos Letales (2019) destacó la importancia de desarrollar normas internacionales para regular el desarrollo y uso de estas armas. De manera similar, la Comisión Internacional de Juristas (2016) ha señalado que la falta de regulación en torno a los SAAL implica un riesgo para los derechos humanos y para la estabilidad internacional.
El Comité Internacional de la Cruz Roja (2016), por su parte, también ha adoptado una postura similar, al señalar que estas armas pueden tener un impacto significativo en el DIH, por lo que enfatiza en la necesidad de una regulación en torno a los SAAL, y la importancia de que los Estados tomen medidas para garantizar el control humano tal como ha sido ratificado en la Declaración del Comité Internacional de la Cruz Roja durante la Convención sobre ciertas armas convencionales (CCAC) ante el Grupo de Expertos Gubernamentales sobre SAAL en Ginebra (2021).
Entonces, la regulación del DIH en el uso de SAAL debe buscar que el proceso algorítmico de sus diseños evolucione en paralelo a la juridicidad, respetando la integridad del ser humano en el campo de batalla y en la identificación de combatientes y no combatientes, así como objetivos militares y no militares. Además, exteriorizar la necesidad de configurar tópicos como la autodependencia o la reconfiguración autoadaptativa (Barrat, 2013), manteniendo rasgos propios de las tecnologías de IA, como la resolución de problemas a partir de la identificación de patrones (Serrano, 2016), en torno a los principios humanos bélicos de distinción, proporcionalidad y precaución, contemplados en el Protocolo I del Convenio de Ginebra (1977) y normas consuetudinarias adscritas al DIH.
Ante todo esto, hay que considerar que, como indica Nisa Ávila (2016), ciertos países han empezado a regular la IA, como es el caso de Corea del Sur –Intelligent robots development and distribution promotion act, en el 2018 y Robots ethics charter en el 2012– o Japón –Guidelines to secure the safe performance of next generation robots en el 2017 y New robots strategy en el 2015–.
Otros, en cambio han constituido comisiones o comités de estudio para abordar la futura regulación sobre la IA, como Estados Unidos de América con el proyecto de ley H. Res. 153, Supporting the development of guidelines for ethical development of artificial intelligence (2019), para apoyar la elaboración de guías para un desarrollo ético de esta; Canadá, con la Regulación 306 de 2015, que permite al Gobierno de Ontario generar un proyecto piloto para el testeo de vehículos autónomos; y la Unión Europea que actualmente cuenta con la propuesta del Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de IA (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (2021)1. No obstante, en ninguno de los casos incluye la cobertura requerida para las acciones militares con SAAL; incluso, la normativa europea deja claro que su configuración limita específicamente el uso y desarrollo de estos dispositivos en el contexto civil y desliga el sector militar, tal como lo esboza el preámbulo 12 y el artículo 2.3 de dicho cuerpo normativo, a saber:
El presente Reglamento debe aplicarse igualmente a las instituciones, las oficinas, los organismos y las agencias de la Unión cuando actúen como proveedores o implementadores de un sistema de IA. Los sistemas de IA desarrollados o utilizados exclusivamente con fines militares deben quedar excluidos del ámbito de aplicación del presente Reglamento cuando su uso sea competencia exclusiva de la política exterior y de seguridad común regulada en el título V del Tratado de la Unión Europea (TUE). El presente Reglamento debe interpretarse sin perjuicio de las disposiciones de la Directiva 2000/31/CE del Parlamento Europeo y el Consejo (en su versión modificada por la Ley de Servicios Digitales) relativas a la responsabilidad de los prestadores de servicios intermediarios.
Del mismo modo, el Grupo de Expertos Gubernamentales de las Naciones Unidas sobre Sistemas Autónomos Letales (2019), basado en argumentos relativos a los riesgos que implica la falta de regulación jurídica –en especial en regiones como América Latina donde es prácticamente inexistente–, concuerda con la necesidad de regular el uso de los SAAL. Por lo que, si bien se muestra que existe un consenso internacional en la necesidad de regulación de estos sistemas debido a los riesgos que implican para la seguridad y los derechos humanos, es urgente exteriorizarlo.
Según lo analizado, se trata de iniciativas aisladas que deberían contemplarse. Además, la brecha tecnológica que se expande vertiginosamente día a día, en el ámbito de la comunidad global no existe sino las iniciativas europeas y norteamericanas, como las más identificables. Es necesario, por tanto, establecer regulaciones para proteger los principios del DIH y las normas pertinentes del Derecho Consuetudinario Internacional frente a este escenario, ya que no se ha logrado –de manera comunitaria– que el uso de la informática artificial o automática decisional en armas independientes tenga la inmediata regulación y sea susceptible a los tópicos de protección, que se adapten a las prohibiciones que violan actualmente los principios de distinción, precaución y proporcionalidad del DIH, para que en paralelo configuren responsabilidades punitivas por futuras transgresiones.
El Informe final del Grupo de Expertos sobre Libia establecido en virtud de la Resolución 1973 del Consejo de Seguridad de la ONU (2021) revela que los drones militarizados, específicamente los del fabricante turco STM llamados Kargu-2, durante el conflicto de las fuerzas de Consenso Nacional frente al control del este del país del líder militar Khalifa Haftar, desempeñaron un papel asimétrico en el conflicto militar de Libia en el 2020, traducido en un eventual crimen de guerra. Este informe señala que estos sistemas, sin conectividad operador-robot y generando decisiones autónomas, atacaron a combatientes cuando se producía ya la retirada de ciertos convoyes militares, ocasionando bajas después de que estos hubieran sufrido impactos por otras armas convencionales contra blindados, conduciendo las hostilidades hacia la inexistencia de supervivientes.
En Nagorno-Karabaj, la utilización de drones por parte de Azerbaiyán alteró el equilibrio de poder mediante modelos avanzados que permitieron ataques selectivos, cambiando la naturaleza del conflicto y sus implicaciones humanitarias. Esta evolución estratégica, como señala Boyle (2017), cuestiona las convenciones del DIH en la protección de civiles, especialmente ante la precisión letal de estos dispositivos.
La situación en la guerra del Tigray en Etiopía, aunque menos documentada, destaca la complejidad emergente. Los informes fragmentarios sobre el uso de drones generan incertidumbre, por lo que se resalta la dificultad de aplicar las normas del DIH en entornos donde la tecnología de los drones opera en un vacío informativo, como plantea Schmitt (2017). Esta falta de transparencia y la escasa trazabilidad de los drones empleados dificultan la evaluación precisa de su impacto en la población civil, desafiando la adecuada implementación del DIH.
En Yemen-Kabul, el uso dual de drones por las partes en conflicto ha creado una dinámica compleja. Los ataques con drones han afectado infraestructuras críticas, lo que provoca preocupaciones significativas en términos de DIH al difuminar la distinción entre combatientes y no combatientes en áreas pobladas. Este entorno asimétrico intensifica los desafíos humanitarios y legales, y resalta la necesidad urgente de una normativa clara, como propone Paul (2020), para salvaguardar los principios fundamentales del DIH en situaciones de conflicto donde los drones cumplen un papel central.
En la guerra Rusia-Ucrania se utilizó el famoso dron Bayraktar TB2, fabricado por Turquía, para misiones de reconocimiento y ataques contra objetivos enemigos, ganando cierta notoriedad por su capacidad para realizar misiones de combate y su uso estratégico en el conflicto (BBC News Mundo, 2023a). No obstante, se han reportado daños a infraestructuras civiles indistintas, durante sus ejecutorias, como aeropuertos, estaciones de ferrocarril y distritos comerciales.
En el conflicto Israel-Hamas, la utilización de drones también ha identificado objetivos no claros en el ámbito belicista, como el impacto en una vivienda en el centro del campo de refugiados en Yenín-Cisjordania (BBC News Mundo, 2023b), lo que preocupa a toda la comunidad internacional, actualmente.
Estos hechos plantean cuestiones relacionadas con la inconciencia situacional bélica prohibida por el artículo 3.1 del Convenio de Ginebra de 1949, que se exterioriza en un potencial crimen más conocido como “guerra sin cuartel”, acorde con el artículo 40 del Protocolo I adscrito al Convenio de Ginebra (PICG) que determina:
“Artículo 40. Cuartel. Queda prohibido ordenar que no haya supervivientes, amenazar con ello al adversario o conducir las hostilidades en función de tal decisión”.
Una intervención sin una clara identificación de los objetivos, la conducta de retirada de los adversarios del campo de batalla y la decisión discriminada del algoritmo de atacar acoplando su accionar hacia las hostilidades con objeto de no supervivencia de combatientes, como se informa haberse realizado con los SAAL en marzo/2020 durante el conflicto de las fuerzas de Consenso Nacional contra Haftar en Libia, convirtió a dicho acto en un potencial “crimen de guerra” tipificado en el artículo 8.2.b, romano iv) del Estatuto de Roma de la Corte Penal Internacional (ECPI), que prohíbe los ataques indiscriminados que causen lesiones o muerte a militares que hayan depuesto las armas o que al no tener medios para defenderse, se hayan rendido a discreción.
En el caso de Libia, el informe también destaca que los drones militarizados estaban programados para operar sin requerir una conectividad de datos constante entre el operador humano y el dispositivo. Esto plantea preocupaciones en términos de la autonomía decisional bélica y de un naciente concepto de “dolo tecnológico”, que podría traducirse en un dolo eventual de los implementadores del sistema y de quienes, a nivel de mando militar, conocían del escenario bélico en el que se desplegaron; es decir, la capacidad independiente del SAAL para tomar decisiones sobre el uso de la fuerza sin intervención humana directa en tiempo real.
El dolo eventual, como una noción arraigada en el derecho penal, se manifiesta cuando una persona, aunque no tenga la intención directa de cometer un delito, es consciente de la posibilidad de que su acción pueda resultar en un acto punitivo y, a pesar de ello, sigue adelante con su conducta (Carrara, 1870, citado en Gómez, 2008, p. 123). En consecuencia, el dolo eventual involucra un conocimiento de la posibilidad de un resultado criminal, así como una voluntad indirecta de causarlo.
En el contexto de la rápida evolución tecnológica, emergería la inquietante figura del dolo tecnológico que puede conceptuarse como la conducta de operadores informáticos que, a pesar de ser conscientes de los riesgos y las implicaciones éticas inherentes a la programación sin salvaguardias técnicas adecuadas, continúan desarrollando sistemas de manera poco ética.
Así, el dolo tecnológico abarcaría una serie de omisiones cruciales, como la falta de adaptación a diferentes escenarios, la incapacidad para discernir situaciones ambiguas, la falta de previsión de contramedidas potenciales, la insuficiente protección de la ciberseguridad y la ausencia de un enfoque adecuado en la gestión de riesgos, como lo esboza la instrucción de ciberseguridad 85001.01 (Departamento de Defensa de los Estados Unidos de Norteamérica, 2014). En definitiva, el dolo tecnológico se manifiesta cuando los programadores toman decisiones conscientes para ignorar consideraciones éticas en el diseño y desarrollo de tecnologías; en este caso, la programación con el potencial de causar daño letal y, en general, de la carencia consciente y voluntaria de ética de quienes estén involucrados en la creación de sistemas tecnológicos de alto impacto.
Además, el dolo tecnológico genera interrogantes relevantes en el ámbito penal sobre la impunidad de crímenes en conflictos armados; pues el artículo 31.1, romano ii) del Estatuto de Roma de la Corte Penal Internacional (ECPI), ha resuelto que las circunstancias ajenas al control de la fuerza militar intencional se encuentran exentas de responsabilidad penal, al indicar:
Artículo 31. Circunstancias eximentes de responsabilidad penal
1. Sin perjuicio de las demás circunstancias eximentes de responsabilidad penal establecidas en el presente Estatuto, no será penalmente responsable quien, en el momento de incurrir en una conducta:
[…]
ii) Estar constituida por otras circunstancias ajenas a su control.
De esta carencia de punibilidad penal internacional, surgen interrogantes respecto al quantum jurídico reinante, donde los SAAL irradiarían impunidad en los crímenes de guerra en conflictos armados, de cómo podría determinarse la responsabilidad criminal en casos donde las circunstancias decisionales del algoritmo estén fuera del control auditable de la fuerza militar humana, y los criterios técnicos jurídicos que se utilizarían para determinar si una acción se enmarca dentro de las circunstancias ajenas al control de la fuerza militar.
En cuanto a la creación y desarrollo de los SAAL, no existe regulación instrumental internacional enfocada a su funcionamiento hardware/software en entornos operativos reales frente a la variedad de adaptaciones decisionales; tampoco se identifican contramedidas practicables ante condiciones multimodales de comportamientos del adversario bélico, en los que deberían insertarse en sus sensores electrónicos la programación suficiente de firmware2 que maximice los principios de distinción, precaución y proporcionalidad del DIH para generar o detener un ataque, y deben ser integralmente fiables para minimizar la probabilidad de fallos.
En el mismo aspecto de la responsabilidad criminal, es fundamental que los SAAL sean autorizados –precedentemente– por el respectivo mando militar para cumplir compromisos dentro de un área geográfica, acorde con las intenciones del comandante y del operador. Ello demostraría la existencia de decisiones no comprometidas o no autorizadas que pudieran interferir con el funcionamiento del sistema y la propia orden militar.
Con estos recursos, se facilitaría el camino de la debida diligencia en investigaciones de crímenes de guerra del arma de IA, al permitir realizar las correspondientes indagatorias con el personal profesional competente (Corte IDH, 2006, párr. 179; Caso Baldeón García vs. Perú, 2006, párr. 96; Caso de la Masacre de Pueblo Bello vs. Colombia, 2006, párr. 177; Caso de la Masacre de Mapiripán vs. Colombia, 2006, párr. 224) –en este caso y en el campo informático–, tal como lo reseña el Protocolo de Minnesota, en su Introducción y en su Anexo 1, punto 11, en el que exige contar con el personal técnico y administrativo idóneo para las investigaciones (Informe del Relator Especial de Naciones Unidas sobre ejecuciones extrajudiciales, sumarias y arbitrarias, 2007, párrs. 45 y 46); sin perjuicio de la observancia del Protocolo de Estambul que establece que todos los métodos utilizados para llevar a cabo las investigaciones de hechos de tortura y tratos crueles, inhumanos o degradantes deben tener el máximo nivel profesional (Protocolo de Estambul, 1999, párr. 78).
En este aspecto, la seguridad del sistema de los SAAL es crucial, puesto que resulta indispensable la creación de mecanismos antimanipulación y de ciberseguridad, que implementen un sistema de gestión de riesgos proidentificación de las vulnerabilidades de la tecnología de información (TI), las amenazas del adversario (como malware, actividades no autorizadas y vulnerabilidades) en el uso del ciberespacio, la capacidad de reconfiguración y defensa de los componentes tecnológicos cuando se utilizan dispositivos agregados o externos, la integración e interoperabilidad del sistema que minimice el riesgo de información compartida, el respaldo de la información y reportes automáticos de incidentes con un nivel adecuado de confidencialidad, autenticación y disponibilidad de acuerdo con la relevancia y la protección de la información, que deben incluirse durante todo el ciclo de vida de esta tecnología en la que se integren la adquisición, diseño, desarrollo, pruebas operativas, implementación, operación, actualización y su final reemplazo.
Paralelamente a la integridad cibernética, es crucial definir de manera precisa los límites y criterios para determinar si una acción se encuentra dentro de estas circunstancias eximentes, respecto a la intencionalidad computacional y de la línea de mando militar. Ello implica la debida maximización o no del dolo tecnológico al programar y construir el software sin la correcta implementación con los principios de distinción [art. 48 del Protocolo I del Convenio de Ginebra (1977) –de aquí en más PI CG– y normas consuetudinarias 1 a 10 del DIH], proporcionalidad [(art. 51.4.c PI GC) y norma consuetudinaria 14 del DIH] y precaución [(art. 57.2.a.1 PI CG) y normas consuetudinarias 15 a 24 del DIH]. Esto garantizaría que la exención no sea utilizada como una justificación para cometer crímenes en conflicto armado y que no se fomente la impunidad.
En igual sentido, se observa la inexistencia de límites claros o criterios establecidos en el Estatuto de Roma de la Corte Penal Internacional (ECPI) para aplicar la exención de responsabilidad penal en situaciones tecnológicas ajenas al control de la fuerza militar en conflictos armados; y, por último, cómo se garantiza que las exenciones de responsabilidad penal del ECPI no sean utilizadas como una justificación para cometer crímenes en conflictos armados o qué mecanismos o salvaguardias existen para asegurar que esta característica no fomente la impunidad en casos de violaciones graves del derecho internacional humanitario.
Como se analiza, es fundamental contar con mecanismos efectivos que aseguren que esta exención no socave la obligación de proteger los derechos humanos y el DIH durante los conflictos armados. La comunidad internacional y los organismos de derechos humanos deben evaluar constantemente esta disposición y considerar propuestas para revisar o modificar el Estatuto de Roma de la Corte Penal Internacional; así como de manera preeminente, la creación de un instrumento internacional de regulación de los SAAL, con el fin de garantizar una mayor rendición de cuentas en casos de crímenes cometidos durante conflictos armados.
Como ya se mencionó, el DIH abarca el Convenio de Ginebra de 1949 y sus protocolos adicionales, así como las normas consuetudinarias aplicables y otros tratados internacionales invocados, todos ellos establecen normas para la conducta humana durante las hostilidades en los conflictos armados. Sin embargo, estas disposiciones se centran en la responsabilidad criminal de las personas en conflictos armados, y no abordan específicamente la intencionalidad electrónica que separa la única acción humana en el uso de SAAL, cuya relación debe trascender al campo jurídico, vista la característica que subyace a dicha conexión humano-robot que es, singularmente, su única e inicial activación.
Por consiguiente, la Convención sobre la prohibición de armas bacteriológicas y sobre su destrucción (1972) no es adecuada desde el punto de vista jurídico respecto al uso de los SAAL, pues únicamente prohíbe el desarrollo, producción y almacenamiento de armas biológicas y tóxicas; por tanto, constituye un instrumento internacional insuficiente para regular esta tecnología. En sentido sinalagmático, la Convención sobre la prohibición de las minas antipersonal y sobre su destrucción (1997) prohíbe el uso, producción, transferencia y almacenamiento de minas antipersonal y si bien su objetivo es reducir el sufrimiento humano en los conflictos armados, no incluye regulaciones específicas para los SAAL.
El único instrumento internacional legislado que se aproxima, aunque abstractamente a las funciones de los SAAL, lo constituye la Convención sobre prohibiciones o restricciones del empleo de ciertas armas convencionales que puedan considerarse excesivamente nocivas o de efectos indiscriminados (1980), cuyo objeto es aplicar normas consuetudinarias del Derecho Internacional Humanitario a las armas específicas. Así, prohíbe el uso de armas con efectos indiscriminados y daños superfluos (art. 3) y consta de cuatro protocolos a los que se pueden agregar nuevos desarrollos jurídicos (art. 5), que podrían aprovecharse para evocar a los SAAL, pues su objetivo principal es proteger a la población civil y combatientes en conflictos armados (art. 1), y su ámbito de aplicación lo constituyen los conflictos armados internacionales y no internacionales.
En su desarrollo, el Protocolo I de la Convención de Ginebra –PI CG– (1977), relativo a la protección de las víctimas de los conflictos armados internacionales, prohíbe el uso de armas cuyos fragmentos no puedan ser localizados por rayos X en el cuerpo humano (art. 1). El Protocolo II –PII CG– (1977), relativo a la protección de las víctimas de los conflictos armados sin alcance internacional, regula el uso de minas, armas trampa y otros artefactos en conflictos armados internacionales y no internacionales (art. 1) y establece normas generales y especiales para cada tipo de arma (art. 2), pero por su fecha de expedición y vigencia resultó improbable referirse a tecnologías autónomas que no se producían en aquella época. El Protocolo III –PIII CG– (2005), relativo a la adopción de un signo distintivo adicional, prohíbe el uso de armas incendiarias contra civiles y en concentraciones de civiles, excepto cuando se utilicen para atacar objetivos militares ocultos en bosques u otro tipo de vegetación (art. 2); y, finalmente, el Protocolo IV de la Convención sobre Ciertas Armas Convencionales de 1980 –P IV CG– (1995), relativo a la protección debida a las personas civiles en tiempo de guerra, se refiere singularmente al uso de armas láser diseñadas para causar ceguera permanente y sus precauciones para su riesgo de activación (arts. 1 y 2).
Por ello, frente la superación tecnológica de los instrumentos jurídicos analizados, resulta relevante hacer trascender que existe una disposición legal inaplicada e instituida en el artículo 36 del Protocolo I Adicional a los Convenios de Ginebra de 1949 –PI CG–, que exige una revisión previa a la utilización de cualquier arma nueva o modificada, y aunque no especifica cómo se debe llevar a cabo esta revisión –y sin proporcionar una solución completa para el problema naciente de los SAAL–, podría constituirse en el impulso necesario para desarrollar un Instrumento internacional al respecto, sin perjuicio de un desarrollo jurídico extendido de los protocolos adicionales al Convenio de Ginebra de 1949, que son los de aplicación bélica por excelencia.
A pesar de la existencia de tratados internacionales que establecen normas para la conducta de las hostilidades y la protección de los derechos humanos, que instituyen los principios de distinción [art. 48 del Protocolo I del Convenio de Ginebra (1977) –de aquí en más PI CG– y normas consuetudinarias 1 a 10 del DIH], proporcionalidad [(art. 51.4.c PI GC) y norma consuetudinaria 14 del DIH] y precaución [(art. 57.2.a.1 PI CG) y normas consuetudinarias 15 a 24 del DIH], estos no serían aplicables en la regulación de las armas autónomas letales por la desvinculación algorítmica decisional de la humana analizada. Esto implica que, en la actualidad, no existe un instrumento internacional que aborde específicamente este fenómeno armado tecnológico, por lo que emerge así la necesidad de una acción urgente y coordinada en el ámbito internacional para abordar los desafíos éticos, legales y técnicos planteados por los SAAL.
La Carta de las Naciones Unidas, adoptada en 1945, establece las bases para la creación y el funcionamiento del Consejo de Seguridad, un órgano fundamental en la toma de decisiones internacionales. Una de las prerrogativas más destacadas de este Consejo, es la capacidad de veto, que otorga a sus cinco miembros permanentes un poder especial de intervención o no en los conflictos internacionales, inclusive.
El artículo 23 de la Carta de la ONU establece la composición del Consejo de Seguridad y cómo se eligen a los miembros permanentes y no permanentes. En particular, el párrafo 1 del artículo 27 menciona a los cinco miembros permanentes (República Popular China, Francia, Federación de Rusia, el Reino Unido y los Estados Unidos de América) y establece que cada miembro del Consejo de Seguridad tendrá un voto. Sin embargo, el poder de veto que se deriva del párrafo 3 del artículo 27, otorga a sus cinco miembros permanentes un poder especial en la toma de decisiones, cuando señala:
“Las decisiones del Consejo de Seguridad sobre todas las demás cuestiones serán tomadas por el voto afirmativo de nueve miembros, incluso los votos afirmativos de todos los miembros permanentes”. Pero en las decisiones sustanciales del Consejo de Seguridad, incluyendo la adopción de recomendaciones sobre procedimientos de arreglo pacífico de una situación, se requerirá el voto afirmativo de los miembros permanentes.
Así, el párrafo 3 del artículo 27 de la Carta de las Naciones Unidas establece que en las decisiones sustanciales del Consejo de Seguridad, que incluyen la adopción de recomendaciones sobre procedimientos de arreglo pacífico de una situación, requieren el voto afirmativo de todos los miembros permanentes del Consejo de Seguridad; esto implica que cualquier miembro permanente del Consejo de Seguridad puede ejercer su poder de veto para bloquear tales decisiones, incluyendo las relacionadas con la intervención militar o cualquier otra medida coercitiva.
Es aquí donde el poder de vetar de los miembros permanentes del Consejo de Seguridad de las Naciones Unidas entra en juego: en la eventualidad de un potencial caso ante la Corte Penal Internacional (CPI), como el documentado ante la misma ONU durante el conflicto de las fuerzas del Consenso Nacional frente al control del este del país del líder militar Khalifa Haftar en Libia, u otro relacionado con el uso de SAAL por parte de un Estado miembro del Consejo de Seguridad, podría tornarse impune, pues la capacidad de veto de cualquiera de los cinco miembros obstaculizaría directamente la apertura de la acción penal internacional. Si uno de los Estados vota en contra de una eventual moción al respecto o bloquea una resolución relacionada, esto podría frenar la capacidad de la Corte Penal Internacional para llevar a cabo una investigación y procesar a los posibles responsables.
La conexión entre el poder de veto que históricamente ha sido calificado como anacrónico, como obra en un informe de opinión del grupo de alto nivel enviado el 1 de diciembre de 2004 al Secretario General de Naciones Unidas, con el título “Un mundo más seguro: la responsabilidad que compartimos” (Doc. A/59/565, ONU, 2004), y la concurrencia eximente de responsabilidad penal del artículo 31.1 romano ii) del ECPI, ahondan la posibilidad de que un Estado miembro con capacidad de veto pueda proteger injustamente a personas –incluyendo líderes militares– de la acción penal internacional al bloquear cualquier intento de llevar el caso ante la CPI. Lo cual también extiende la impunidad resultante hacia la falta de rendición de cuentas, lo que tiene un impacto significativo en los desafíos de la justicia internacional, donde el poder político se vuelve preeminente frente a la propia orden de análisis del Consejo de Seguridad de la ONU en la Carta de Naciones Unidas. Paradójicamente, en su artículo 26, exige para la paz y seguridad internacionales la elaboración de planes para un sistema de regulación de armamentos.
La investigación refleja la necesidad de apuntalar el Derecho Internacional Humanitario y garantizar la estabilidad internacional en el uso de SAAL, proponiendo una Ley Internacional de Control de Armas Autónomas Letales que establecería medidas para regular el desarrollo, la producción y el uso de esta tecnología letal.
Este instrumento integraría mecanismos de transparencia y rendición de cuentas, así como la promoción de la cooperación internacional para su implementación efectiva. Estos mecanismos deben contemplar, según Tegmark (2018), cuestiones éticas, legales, socioeconómicas y políticas. Por tanto, se proponen los siguientes principios rectores para dicha propuesta normativa (véase Tabla 1).
Tabla 1. Principios de la Ley Internacional de Control de Armas Autónomas Legales
|
Principios que –regirían– la Ley Internacional de Control de Armas Autónomas Letales |
|
|
Definición de armas autónomas letales |
Se establecería una definición clara y precisa de lo que se considera un arma autónoma letal, para asegurar que todas las armas que se regulen en la ley se ajusten a esta definición. |
|
Prohibición del uso de armas autónomas letales |
Se prohibiría el uso de armas autónomas letales en todas las circunstancias, tanto por parte de actores estatales como no estatales. Esta prohibición estaría basada en la necesidad de proteger los derechos humanos y la estabilidad internacional. |
|
Obligación de desarrollar medidas de control |
Se exigiría a los Estados miembros que desarrollen medidas de control efectivas para prevenir el desarrollo, la producción y el uso de armas autónomas letales, así como su transferencia a terceros países o actores no estatales. |
|
Transparencia y rendición de cuentas |
Se establecerían mecanismos de transparencia y rendición de cuentas para garantizar que los Estados miembros cumplan con sus obligaciones bajo la ley. Estos mecanismos incluirían la presentación de informes anuales sobre la implementación de la ley y la creación de comités de supervisión para monitorear el cumplimiento. |
|
Protección de los derechos humanos |
La ley estaría basada en la protección de los derechos humanos, por lo que se establecerían medidas para prevenir el uso de armas autónomas letales que puedan causar daños indiscriminados o desproporcionados a la población civil. |
|
Cooperación internacional |
Se fomentaría la cooperación internacional entre los Estados miembros para la implementación efectiva de la ley, incluyendo la creación de mecanismos de cooperación técnica y financiera. |
La presente investigación ha analizado en profundidad las implicaciones éticas y legales relacionadas con el uso de sistemas autónomos armados letales (SAAL) en conflictos armados, centrándose en el caso concreto del informe de las Naciones Unidas sobre el uso de drones militarizados en el conflicto en Libia, al igual que en los conflictos de Nagorno-Karabaj, Israel-Hamas y Rusia-Ucrania. El análisis ha arrojado una serie de conclusiones significativas.
En primer lugar, se ha destacado la preocupante naturaleza asimétrica de los SAAL en el conflicto de Libia en el 2020, lo que potencialmente constituye un crimen de guerra. Se ha señalado que estos sistemas autónomos atacaron a combatientes incluso cuando se retiraban, lo que plantea cuestiones sobre la prohibición de realizar una “guerra sin cuartel”, según el artículo 40 del Protocolo Adicional I al Convenio de Ginebra de 1949.
Además, se ha explorado el naciente concepto de “dolo tecnológico”, que se refiere a la programación y desarrollo de tecnologías sin salvaguardias éticas adecuadas. El dolo tecnológico implica la falta de adaptación a diferentes escenarios, la incapacidad para discernir situaciones ambiguas, la falta de previsión de contramedidas potenciales, la insuficiente protección de la ciberseguridad y la ausencia de un enfoque adecuado en la gestión de riesgos. Esto plantea serias preocupaciones éticas y legales en el diseño y desarrollo de tecnologías, especialmente cuando pueden causar daño letal.
El concepto de “dolo eventual” también ha sido discutido, destacando que involucra el conocimiento de la posibilidad de un resultado criminal y una voluntad indirecta de causarlo. En el contexto de los SAAL, esto plantea interrogantes sobre la responsabilidad penal de los implementadores y de aquellos que en el mando militar conozcan el escenario bélico en el que se despliegan estos sistemas.
Asimismo, se ha destacado la importancia de establecer mecanismos de rendición de cuentas y regulaciones internacionales efectivas para abordar el uso de SAAL en conflictos armados. La falta de regulación específica para estas tecnologías es evidente en los tratados internacionales existentes, lo que resalta la necesidad urgente de una acción jurídico-legislativa coordinada a nivel internacional.
Además de las preocupaciones señaladas, se evidencia que estos sistemas, con sus capacidades de singularización de objetivos bélicos, presentan acciones efectivas como herramientas de disuasión más focalizables y menos perjudiciales para los civiles en comparación con armas de gran alcance. Este enfoque de precisión puede contribuir a una guerra más justa, reduciendo daños colaterales y efectos materiales.
Los SAAL no solo se limitan al campo bélico; su adaptabilidad tecnológica les permite ser utilizados en diversas áreas. Por ejemplo, su aplicación en la prevención tecnológica de desastres naturales se muestra prometedora, ya que pueden desempeñar roles significativos en la detección temprana y la respuesta rápida ante catástrofes. Asimismo, su capacidad de vigilancia y seguimiento los convierte en herramientas valiosas para cooperar en el control del crimen organizado y fortalecer la justicia a través de la identificación y monitoreo de actividades ilícitas en zonas de difícil acceso. Además, en la esfera de la seguridad, pueden ser utilizados en el control de fronteras, mejorando la eficacia y precisión en la supervisión de límites territoriales.
Es esencial considerar su uso en otras áreas, como en la conservación del medioambiente y la gestión de recursos naturales, donde los SAAL pueden ser empleados en el monitoreo de especies en peligro, la detección de incendios forestales y la supervisión de la deforestación ilegal. Además, su implementación en labores de ayuda humanitaria y logística podría revolucionar la entrega de suministros en áreas remotas y de difícil acceso.
Si bien es necesario abordar las preocupaciones éticas y legales en el uso de SAAL, es crucial también reconocer su potencial multifacético en diversos campos más allá del ámbito bélico. Una regulación equilibrada que permita su utilización para fines pacíficos y de ayuda humanitaria, al tiempo que salvaguarde los principios del Derecho Internacional Humanitario, puede conducir a un aprovechamiento más responsable y beneficioso de esta tecnología en beneficio de la humanidad.
Esta perspectiva más amplia y multifacética resalta la necesidad de no solo enfocarse en las implicaciones negativas, sino también de considerar y explorar de manera creativa los potenciales beneficios que los SAAL podrían aportar en diversos campos para el bienestar de la sociedad y la minimización de daños en contextos de conflicto y emergencias.
Finalmente, se ha señalado la influencia del poder de veto en el Consejo de Seguridad de las Naciones Unidas en la exención de responsabilidad penal para el uso de SAAL. La capacidad de cualquier miembro permanente del Consejo de Seguridad para bloquear decisiones relacionadas con la acción penal internacional puede obstaculizar la labor de la Corte Penal Internacional para llevar a cabo investigaciones y enjuiciar a los posibles responsables, lo que implica la necesidad de maximizar un estudio crítico de la imparcialidad en torno a las facultades de dicho estamento de control de la ONU.
Este análisis ha destacado la complejidad y las preocupaciones éticas y legales que rodean el uso de los SAAL en conflictos armados. La falta de regulación adecuada, la presencia de “dolo tecnológico” y las implicaciones del poder de veto en la ONU son temas críticos que deben abordarse para garantizar la rendición de cuentas y la protección de los derechos humanos en el contexto de la rápida evolución de la tecnología militar, en la que es urgente la expedición de un instrumento internacional de regulación de los SAAL.
Almache Barreiro, J. C., & Albert Márquez, J. (2023). Implicaciones éticas de la IA y su potencial impacto en el derecho internacional. Revista San Gregorio, 1(54), 209-231. https://acortar.link/vbUaW4
Arkin, R. (2009). Governing lethal behavior in autonomous robot. Mobile Robot Laboratory. College of Computing. Georgia Institute of Technology. https://acortar.link/R1iGyM
Barrat, J. (2013). Our final invention: Artificial intelligence and the end of the human era. Thomas Dunne Books.
BBC News. (2023a, 2 de septiembre). “Ataques con drones en Rusia: qué objetivos tienen y cómo se han convertido en una herramienta clave para Ucrania”. Redacción, BBC News Mundo. https://www.bbc.com/mundo/articles/c9ej4xr8n78o
BBC News. (2023b, 30 de septiembre). “El violento eco que tiene la guerra de Gaza en Cisjordania, el otro territorio palestino en el que han muerto más de 100 personas”. Redacción, BBC News Mundo. https://www.bbc.com/mundo/articles/c6plyyxwy2jo
Boyle, M. (2017). Legal and ethical implications of drone warfare. Routledge.
Campaign to stop killer robots. (2017). Slaugtherbots. https://www.youtube.com/watch?v=HipTO_7mUOw
Chávez, D., Cruz, A., & Herrera, P. (2019). Robots asesinos: ¿realidad o ficción? Los sistemas de armas autónomas en el marco del Derecho Internacional Humanitario. USFQ Law Review, 6(1), 11-28. https://revistas.usfq.edu.ec/index.php/lawreview/article/view/1405/1616
Comité Internacional de la Cruz Roja. (2016). Los sistemas de armas autónomos y el derecho internacional humanitario. https://www.icrc.org/es/doc/assets/files/2016/icrc-002-4173.pdf
Comité Internacional de la Cruz Roja. (2022). Preguntas y respuestas: Lo que hay que saber sobre las armas autónomas. https://www.icrc.org/es/document/preguntas-y-respuestas-sobre-armas-autonomas
Comité Internacional de la Cruz Roja. (1980). Convención sobre prohibiciones o restricciones del empleo de ciertas armas convencionales que puedan considerarse excesivamente nocivas o de efectos indiscriminados https://www.icrc.org/es/doc/resources/documents/misc/5tdl6d.htm
Comisión Internacional de Juristas (2014). Derecho internacional y Lucha contra la impunidad. https://acortar.link/e7Ixkm
Gómez, E. (2008). Manual de Derecho Penal Ecuatoriano. Ediciones Legales. Quito, Ecuador. https://acortar.link/TqlgPY
Heyns, C. (2013). Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions. United Nations General Assembly. https://www.ohchr.org/en/special-procedures/sr-executions
Heyns, C. (2016). Autonomous weapon systems: Human rights and ethical issues. Meeting of High Contracting Parties to the Convention on Certain Conventional Weapons. https://acortar.link/wu5z40
Human Rights Watch. (2012). Losing humanity: The case against killer robots. https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots
Human Rights Watch. (2013). Unmanned: The impact of drone strikes in Pakistan. https://www.hrw.org/report/2013/10/22/unmanned/impact-drone-strikes-pakistan
Meza, M. (2019). El desarrollo y el uso de los sistemas de armas autónomas letales en los conflictos armados internacionales. [Tesis Doctoral]. Universidad de Barcelona. https://www.tdx.cat/handle/10803/668711
Nisa Ávila, J. (2016). Robótica e inteligencia artificial ¿legislación social o nuevo ordenamiento jurídico? Elderecho.com. https://elderecho.com/robotica-e-inteligencia-artificial-legislacion-social-o-nuevo-ordenamiento-juridico
Paul, T. V. (2010). Taboo or tradition? The non-use of nuclear weapons in world politics. Review of International Studies, 36(4), 853–863, https://doi.org/10.1017/S0260210510001336
Scharre, P. (2016). Autonomous Weapons and Operational Risk Ethical Autonomy Project. Center for a New American Security. https://acortar.link/bIpFub
Schmitt, M. N. (2017). Tallinn Manual 2.0 on the International Law applicable to cyber operations. Cambridge University Press. https://doi.org/10.1017/9781316822524
Serrano, A. (2016). Inteligencia artificial. Fundamentos, práctica y aplicaciones. México. Alfaomega.
Tegmark, M. (2018). Vida 3.0. Ser humano en la era de la inteligencia artificial. Taurus.
Carta de las Naciones Unidas (1945). https://www.un.org/es/about-us/un-charter
Centro Europeo de Postgrado Magazine. (2023). https://www.ceupe.com/blog/firmware.html?dt=1697744382649
Convenio de Ginebra. (1949). https://www.icrc.org/es/doc/assets/files/publications/convenios-gva-esp-2012.pdf
Convención de Ginebra (1977). Protocolo I adicional a los convenios de Ginebra de 1949 relativo a la protección de las víctimas de los conflictos armados internacionales. https://www.icrc.org/es/document/protocolo-i-adicional-convenios-ginebra-1949-proteccion-victimas-conflictos-armados-internacionales-1977
Convención de La Haya de 1899 relativo a las leyes y costumbres de la guerra terrestre. (1899). https://www.icrc.org/es/doc/resources/documents/misc/5tdlcy.htm
Convención sobre ciertas armas convencionales ante el Grupo de Expertos Gubernamentales sobre SAAL en Ginebra (2021). https://acortar.link/CVnMyG
Convención sobre la prohibición de armas bacteriológicas y sobre su destrucción. (1972). https://www.icrc.org/es/doc/resources/documents/misc/treaty-1972-bacteriological-weapons-convention-5tdm6y.htm
Convención sobre la prohibición de las minas antipersonal y sobre su destrucción. (1997). https://www.icrc.org/es/doc/assets/files/other/1997_minas.pdf
Corte de Derecho Internacional Humanitario. Caso Ximenes Lopes vs. Brasil. Sentencia de 4 de julio de 2006, Serie C No. 164, párr. 179; Caso Baldeón García vs. Perú, párr. 96; Caso de la Masacre de Pueblo Bello vs. Colombia, párr. 177, y Caso de la Masacre de Mapiripán vs. Colombia, parr. 224).
Estatuto de Roma de la Corte Penal Internacional. (1998). https://www.un.org/spanish/law/icc/statute/spanish/rome_statute(s).pdf
Directiva 2000/31/CE del Parlamento Europeo y del Consejo. (2000). Relativa a determinados aspectos jurídicos de los servicios de la sociedad de la información, en particular el comercio electrónico en el mercado interior (Directiva sobre el comercio electrónico) https://www.boe.es/buscar/doc.php?id=DOUE-L-2000-81295
Grupo de Expertos Gubernamentales de las Naciones Unidas sobre Sistemas Autónomos Letales. (2019). Informe de la reunión de expertos sobre sistemas de armas autónomas letales y la perspectiva del derecho internacional humanitario. Organización de las Naciones Unidas. https://undocs.org/en/CCW/GGE.1/2019/WP.5
Informe del Relator Especial de Naciones Unidas sobre ejecuciones extrajudiciales, sumarias y arbitrarias del 19 de febrero de 2007. A/HRC/4/20/Add2, párrs. 45 y 46. https://www.acnur.org/fileadmin/Documentos/BDL/2007/5017.pdf
Instruction number 85001.01, March 14, 2014. Cybersecurity – Departamento de Defensa, Estados Unidos de Norteamérica. https://nsarchive.gwu.edu/document/21382-document-23
Naciones Unidas. (2021). Informe final del Grupo de Expertos sobre Libia establecido en virtud de la resolución 1973 (2011) del Consejo de Seguridad. (2021). S/2021/229. https://digitallibrary.un.org/record/3905159?ln=es
Naciones Unidas. (2004). Opinión señalada por el Grupo de Alto Nivel en el informe enviado el 1 de diciembre de 2004 al Secretario General de Naciones Unidas, con el título “Un mundo más seguro: la responsabilidad que compartimos” (Doc. A/59/565). https://www2.ohchr.org/spanish/bodies/hrcouncil/docs/gaA.59.565_Sp.pdf
Parlamento Europeo. (2023). https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_ES.html
Proyecto de ley H. Res. 153. (2019). Supporting the development of guidelines for ethical development of artificial intelligence. https://www.congress.gov/bill/116th-congress/house-resolution/153/text
Propuesta del Reglamento del Parlamento Europeo y del Consejo. (2021). “Por el que se establecen normas armonizadas en materiamde inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”. Bruselas, Bélgica. https://acortar.link/1S4Wr3
Protocolo Adicional I al Convenio de Ginebra. (1977). https://www.icrc.org/es/document/protocolo-i-adicional-convenios-ginebra-1949-proteccion-victimas-conflictos-armados-internacionales-1977
Protocolo Adicional II al Convenio de Ginebra. (1977). https://www.icrc.org/es/doc/assets/files/publications/icrc-003-0321.pdf
Protocolo Adicional III al Convenio de Ginebra. (2005) https://www.icrc.org/es/doc/resources/documents/misc/protocolo-iii.htm
Protocolo Adicional IV a la Convención sobre Ciertas Armas Convencionales de 1980 (1995). https://www.icrc.org/es/doc/resources/documents/misc/treaty-1980-cccw-protocol-4-7ufmdw.htm
Protocolo de Estambul (1999). https://www.ohchr.org/sites/default/files/documents/publications/training8rev1sp.pdf
Regulación 306/15. (2015). “Proyecto piloto para el testeo de vehículos autónomos de Canadá”. https://www.ontario.ca/laws/regulation/r15306