La ONU busca frenar las armas letales autónomas: ¿quién responde si una máquina mata?

La Organización de las Naciones Unidas (ONU) ha vuelto a poner sobre la mesa uno de los debates más urgentes y perturbadores de la era de la inteligencia artificial: la necesidad de prohibir las armas letales autónomas, también conocidas como sistemas de IA con capacidad para decidir por sí mismas a quién atacar y cuándo hacerlo.

En las últimas semanas, diplomáticos y expertos reunidos en Ginebra han insistido en la elaboración de un tratado internacional vinculante que establezca límites claros. La premisa es sencilla en su enunciado pero compleja en su implementación: ninguna máquina debe tener autoridad final para quitar una vida humana. Detrás de esta postura hay una preocupación creciente por cómo la automatización total de la violencia podría transformar para siempre la naturaleza de los conflictos armados.

Los sistemas en cuestión no son ciencia ficción de películas distópicas. Se trata de drones, vehículos terrestres o sistemas de artillería capaces de identificar patrones, seleccionar objetivos y ejecutar ataques sin que un operador humano intervenga en el bucle de decisión. Si bien hoy varios ejércitos experimentan con niveles crecientes de autonomía, la línea que separa la asistencia al operador humano de la autonomía letal plena es cada vez más difusa.

Los especialistas en derecho internacional humanitario y en ética de la tecnología coinciden en tres grandes riesgos. En primer lugar, la aceleración de los conflictos: al eliminar el factor humano de cansancio, miedo o duda moral, estas máquinas podrían bajar el umbral para iniciar hostilidades. Una guerra que antes requería deliberación política y logística humana podría volverse más rápida, más frecuente y más difícil de detener una vez iniciada.

En segundo lugar está el problema de los errores. Los algoritmos de reconocimiento de patrones, por avanzados que sean, siguen siendo vulnerables a sesgos en los datos de entrenamiento, a condiciones ambientales impredecibles o a tácticas de engaño. Cuando una máquina comete un error fatal, corregirlo resulta prácticamente imposible: la bala ya salió, el misil ya impactó. La reversibilidad, un principio básico de cualquier sistema ético, desaparece.

Pero quizá la cuestión más profunda sea la de la responsabilidad. Si un algoritmo decide matar, ¿quién es el culpable? ¿El programador que escribió el código? ¿El general que autorizó su despliegue? ¿La empresa que lo vendió? ¿O acaso la responsabilidad se diluye hasta volverse intangible, como un accidente de software sin autor claro? Esta opacidad jurídica es una de las mayores preocupaciones que los expertos han llevado a las mesas de negociación de la ONU.

Desde el punto de vista del diseño y la cultura material, el debate también invita a reflexionar sobre cómo construimos los objetos que nos rodean. Las armas autónomas representan el extremo más radical de una tendencia que ya vemos en otros ámbitos: delegar decisiones críticas a sistemas opacos porque son más rápidos, más baratos o más “eficientes”. Lo que en un dron de entrega o en un asistente de voz puede resultar práctico, en un sistema letal se vuelve éticamente inaceptable.

Países como Rusia, Estados Unidos, China e Israel han invertido fuertemente en tecnologías de autonomía militar. Al mismo tiempo, una coalición de más de 30 naciones, junto con organizaciones de la sociedad civil y académicos, presiona para que se establezcan “líneas rojas” claras. La Convención sobre Ciertas Armas Convencionales (CCW) ha sido el foro principal de estas discusiones, aunque hasta ahora los avances han sido lentos y los consensos, frágiles.

Los defensores de un mayor desarrollo autónomo argumentan que estas tecnologías podrían reducir bajas entre soldados propios y permitir operaciones más precisas que minimicen daños colaterales. Sin embargo, los críticos responden que la historia de la tecnología militar muestra que la precisión prometida rara vez se traduce en menos víctimas civiles, y que la opacidad algorítmica hace casi imposible investigar violaciones al derecho humanitario después de un ataque.

La pregunta que subyace a todo el debate es cultural tanto como técnica: ¿qué tipo de sociedad queremos construir cuando delegamos la violencia última a un código? La respuesta no está solo en laboratorios de defensa ni en salas de conferencias internacionales. Nos interpela como usuarios de tecnología, como ciudadanos y como diseñadores de futuro.

Mientras los negociadores intentan cerrar un tratado que muchos consideran urgente, la carrera tecnológica sigue su curso. Cada mes aparecen nuevos prototipos, patentes y demostraciones. La ventana para establecer reglas claras antes de que estos sistemas se vuelvan ubicuos se está cerrando. La ONU, con todas sus limitaciones, sigue siendo uno de los pocos espacios donde esa conversación todavía es posible.

El desafío no es tecnológico. Es profundamente humano: decidir si estamos dispuestos a vivir en un mundo donde una máquina pueda tener la última palabra sobre quién vive y quién muere.