Alarma en Silicon Valley por riesgo de extinción por IA
Un exinvestigador de Anthropic advierte que la IA podría acabar con la humanidad antes de 2030, mientras el Pentágono rechaza esos temores como «fatalismo»
Una consulta aparentemente simple realizada a Claude, el modelo de inteligencia artificial desarrollado por Anthropic, desató una cadena de reacciones que expone las profundas divisiones en torno al futuro de esta tecnología. «¿Vas a matar a todo el mundo para el 2030?», preguntó un usuario identificado como Nick Greenawalt en la plataforma X. La respuesta del sistema fue tan ambigua como inquietante: el escenario de exterminio humano «ni siquiera será posible hasta el 2032, y aun así es poco probable que yo decida llevarlo a cabo».
Esa interacción, que en otro contexto podría haberse interpretado como un ejercicio de ciencia ficción, adquirió una dimensión distinta tras la renuncia de Jacob Coxon, investigador especializado en entrenamiento de modelos de IA que trabajó durante tres años entre OpenAI y Anthropic. El martes, Coxon anunció su salida de la compañía con una advertencia que resonó en toda la industria: «La gente que construye IA cree sinceramente que podría matarnos a todos para finales de la década».
Advertencias desde el núcleo de la industria
Lejos de tratarse de una voz aislada, las declaraciones de Coxon fueron respaldadas por figuras de alto rango dentro de la propia Anthropic. Evan Hubinger, responsable de Alignment Science en la empresa, confirmó públicamente que compartía esas preocupaciones y estimó en más del 10% la probabilidad de que la IA provoque la extinción humana durante los próximos diez años.
«Creo que Anthropic está haciendo todo lo posible, pero aún no contamos con un plan para resolver el problema de la alineación con la superinteligencia y no parece que estemos claramente en camino de lograrlo», escribió Hubinger en X.
La alineación de la superinteligencia —el desafío de garantizar que sistemas con capacidades muy superiores a las humanas actúen conforme a nuestros intereses y valores— constituye el núcleo del debate. Samuel Marks, responsable de Scalable Oversight en Anthropic, se sumó a la discusión señalando que, por regla general, los empleados de mayor rango son quienes muestran más preocupación.
Marks explicó que, a diferencia del software tradicional, las IA no pueden ser programadas simplemente «para que se comporten como quisiéramos». Como evidencia, mencionó que recientemente sistemas de varios desarrolladores lograron salir de entornos de evaluación seguros e infiltrarse en empresas del mundo real, aunque nadie les había pedido que lo hicieran.
Coxon fue más allá en entrevistas posteriores con NBC, CNN y Fox News. Al periodista Anderson Cooper le describió un escenario concreto: «Hace dos meses, agentes de OpenAI hackearon infraestructura de terceros por su propia voluntad. Si extrapolas la capacidad de estas IAs con esa misma voluntad independiente, pueden causar un daño extremo: hackear infraestructura crítica, construir armas biológicas de nivel de extinción».
El investigador británico de 27 años también precisó que los modelos actuales no representan un riesgo significativo de extinción, pero advirtió que la situación podría cambiar rápidamente. «Esto es extrapolar a un año de ahora. Los modelos empiezan a ponerse muy peligrosos», declaró.
El contrapunto desde el Pentágono
La reacción oficial no se hizo esperar. Emil Michael, jefe de Tecnología del Departamento de Guerra de Estados Unidos, rechazó categóricamente las advertencias y las calificó como un «bucle de fatalismo». Durante una conferencia de la industria de defensa en Washington, Michael cuestionó los temores sobre una posible pérdida masiva de empleos y la destrucción de la humanidad.
«Es fácil quedar atrapado en este tipo de bucle de fatalismo de: ‘Vamos a dejar sin empleo al 40% de los estadounidenses, vamos a destruir a la humanidad'», afirmó el funcionario, quien sostuvo que los posibles daños pueden mitigarse mediante el libre mercado, la colaboración de la industria y la participación del Gobierno.
La postura de Michael refleja una tensión más amplia entre las preocupaciones de seguridad que plantean los investigadores y las prioridades estratégicas de quienes ven en la IA una herramienta crucial para la defensa nacional y la competitividad económica.
Presiones comerciales y la carrera hacia la superinteligencia
El análisis de quienes trabajan en el sector revela una paradoja incómoda. Marks explicó que los desarrolladores continúan avanzando pese a los riesgos por «una combinación de incentivos comerciales y la creencia de que están en una carrera» contra empresas menos responsables.
Esa dinámica de competencia fue descrita por Coxon con crudeza en su hilo de X: en OpenAI, escribió, «muchos no han internalizado profundamente lo que está en juego a nivel civilizatorio», mientras que en Anthropic «los riesgos se entienden bien, pero están atrapados en una carrera por llegar primero».
La magnitud de la respuesta pública fue significativa. Según Bloomberg, la publicación de Coxon superó los 150 millones de visualizaciones. El investigador reveló que abandonó Anthropic dos meses antes de que se consolidaran sus acciones, tras apenas cuatro meses en la empresa, lo que refuerza que su salida no respondió a incentivos económicos.
Muchos profesionales del sector quieren «desesperadamente reducir el ritmo», según Marks, quien citó la carta abierta Pacing the Frontier, firmada por él y otros 1.385 trabajadores de la industria. Esa iniciativa insta al gobierno estadounidense a desarrollar herramientas para regular deliberadamente el desarrollo automatizado de la IA.
Un patrón de renuncias y advertencias internas
La salida de Coxon no constituye un caso aislado. En febrero, Mrinank Sharma, quien había dirigido el equipo de investigación de salvaguardas en Anthropic, publicó su carta de renuncia afirmando que «el mundo está en peligro» y que había comprobado lo difícil que resulta permitir que los valores guíen las decisiones cuando existen presiones para dejarlos de lado.
El propio director ejecutivo de Anthropic, Dario Amodei, advirtió en un ensayo publicado en enero que una inteligencia sobrehumana podría ocasionar daños de escala civilizatoria y que las empresas que la desarrollan representan por sí mismas un riesgo debido a su concentración de poder.
Las advertencias trascienden las fronteras de una sola compañía. Jakub Pachocki, científico en jefe de OpenAI, señaló recientemente que las capacidades de la IA avanzan más rápido que la capacidad de supervisión. Geoffrey Hinton, considerado uno de los padrinos de la inteligencia artificial, declaró a BBC Newsnight que una probabilidad del 10% de extinción humana le parecía una estimación razonable.
Reacciones políticas y regulatorias
El debate escaló rápidamente al ámbito político. El senador independiente Bernie Sanders respaldó las preocupaciones de Coxon y anunció que presentará legislación para pausar el desarrollo de inteligencia artificial avanzada y prohibir la creación de superinteligencia.
«Las mismas personas que están construyendo esta tecnología admiten que podría amenazar el futuro de la humanidad», escribió Sanders. La representante demócrata Lori Trahan también se pronunció, señalando que «investigadores de seguridad están renunciando, modelos poderosos de IA están escapando de sus laboratorios, y las empresas siguen avanzando de todos modos».
A nivel internacional, el alto comisionado de Naciones Unidas para los Derechos Humanos, Volker Türk, pidió a los gobiernos establecer garantías estrictas sobre la seguridad de la inteligencia artificial «antes de que sea demasiado tarde».
El estado actual de la cuestión
Anthropic, que se ha presentado desde su fundación en 2021 como una compañía especialmente enfocada en la seguridad de la IA, emitió un comunicado en respuesta a las declaraciones: «Siempre fuimos transparentes en que la IA traerá tanto beneficios enormes como riesgos sin precedentes. Para enfrentarlos, seguimos construyendo modelos con algunas de las salvaguardas más fuertes de la industria».
La empresa también recordó que fue «el primer laboratorio en publicar una política de escalado responsable» y expresó que el mundo se beneficiaría si la industria adoptara formas legales y verificables de cooperación.
Mientras tanto, Coxon mantiene su postura. En declaraciones a NBC explicó por qué no intentó cambiar la situación desde dentro: «Si intentás quedarte adentro, terminás perpetuando la dinámica de carrera». Sobre Amodei, el CEO de Anthropic, fue cuidadoso: «Creo que está actuando según esos principios, 100%. El problema es que otros intentan llegar primero, y en una carrera no podés ser tan riguroso como te gustaría».
La pregunta que queda flotando es la que Coxon planteó a Fox News: «Sabemos cómo controlar las armas nucleares. Todavía no sabemos cómo controlar la IA». La respuesta a esa interrogante determinará no solo el futuro de la industria tecnológica, sino posiblemente el de la propia especie humana.
