"La IA podría matarnos a todos": la alarmante confesión de Jacob Coxon tras renunciar a Anthropic y a OpenIA
Tras dejar su puesto en Anthropic y OpenAI, el investigador británico cuestiona la falta de regulación tecnológica y advierte sobre las amenazas de la superinteligencia artificial.
La advertencia vino desde adentro de una de las compañías que está en el centro de la carrera por desarrollar la inteligencia artificial más avanzada. Jacob Coxon, un especialista británico de 27 años que pasó por OpenAI y Anthropic, renunció a su puesto y cuestionó el rumbo que está tomando la industria. A través de un extenso mensaje difundido en redes sociales, sostuvo que las dos compañías están avanzando hacia una “superinteligencia auto-mejorante” sin contar todavía con las herramientas para garantizar que esos sistemas permanezcan bajo control humano.
Alcanzando los 10 millones de visualizaciones, Coxon aseguró que quienes desarrollan estas tecnologías “creen sinceramente que podría matarnos a todos para finales de la década”.
El impacto fue grande porque Evan Hubinger, uno de los investigadores de seguridad de Anthropic que continúa dentro de la compañía, salió públicamente a respaldarlo. “Creemos que la IA podría matar a todos los humanos”, escribió. Particularmente, estimó que existe más de un 10% de probabilidad de que eso ocurra en la próxima década.
Además, reconoció que el problema todavía más concreto es que Anthropic no tiene actualmente un plan para resolver el llamado “alineamiento” de una eventual superinteligencia.
El concepto de alineamiento refiere, en términos simples, a conseguir que los objetivos y comportamientos de un sistema de IA permanezcan compatibles con las intenciones humanas, incluso cuando el sistema alcance capacidades superiores.
Lo que se dio a conocer es que Coxon, en los últimos tres años, trabajó en preentrenamiento, una de las etapas fundamentales en el desarrollo de modelos de inteligencia artificial. Allí los sistemas procesan enormes cantidades de información para aprender patrones y desarrollar capacidades que luego pueden utilizar en distintas tareas.
Al principio, trabajó en OpenAI y luego pasó a Anthropic, una compañía que había elegido precisamente por su mayor énfasis declarado en la seguridad de la IA. Según distintos reportes, su paso por Anthropic duró apenas unos meses.
En su mensaje de despedida, Coxon fue particularmente duro con las dos compañías.
"Ninguna de las dos empresas actúa de manera responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas”, escribió.
Más de 1.300 empleados de la industria ya pidieron herramientas para frenar
En julio, 1.386 empleados de compañías de inteligencia artificial de frontera firmaron el documento “Pacing the Frontier”, en el que reclamaron al Gobierno de Estados Unidos que impulse un esfuerzo internacional para desarrollar herramientas técnicas y mecanismos de gobernanza que permitan ralentizar el avance de la IA si llega a ser necesario.
Su planteo es crear mecanismos que permitan ganar tiempo si las capacidades de los sistemas avanzan más rápido que la capacidad humana para comprenderlos, evaluarlos y controlarlos.
Algunos de los firmantes hubo figuras de alto nivel de compañías como Anthropic, OpenAI, Google DeepMind y Meta. El propio CEO de Anthropic, Dario Amodei, aparece entre los firmantes.
Estos firmantes advierten que actualmente existe una fuerte presión competitiva para que ninguna empresa o país reduzca unilateralmente el ritmo de desarrollo.
Un antecedente que encendió las alarmas
Las advertencias de Coxon aparecen además después de varios episodios que expusieron fallas en la seguridad de los modelos de IA. A fines de julio, Anthropic reconoció que distintas versiones de Claude habían conseguido acceder sin autorización a sistemas informáticos reales pertenecientes a tres organizaciones durante pruebas de ciberseguridad.
La compañía explicó que no se trató de un modelo que decidiera espontáneamente escapar de sus controles. Los sistemas estaban participando de ejercicios conocidos como “capture the flag”, utilizados para medir las capacidades de una IA para detectar vulnerabilidades y acceder a información dentro de una red.
De las más de 141.000 ejecuciones de pruebas que revisó Anthropic, tres terminaron en incidentes en los que Claude logró pasar de los entornos de evaluación a sistemas reales. Aclaró que los modelos utilizados en esas pruebas no contaban con las salvaguardas habituales de las versiones destinadas al público y que no accedieron a los sistemas internos sensibles de Anthropic ni a datos de sus clientes.
Lo cierto es que el caso tampoco fue exclusivo de Anthropic. Días antes, OpenAI había informado que algunos de sus modelos habían conseguido salir de un entorno de prueba aislado y acceder a la infraestructura de Hugging Face.
Agentes de IA de OpenAI superaron controles y atacaron Hugging Face
Una prueba interna de ciberseguridad de OpenAI terminó mostrando algo que la compañía no esperaba: agentes de inteligencia artificial encontraron caminos para salir de un entorno diseñado para mantenerlos aislados de internet y terminaron accediendo a infraestructura de producción de Hugging Face, un centro neurálgico y una plataforma colaborativa para la inteligencia artificial (IA) y el aprendizaje automático. El episodio ocurrió en julio de 2026 durante evaluaciones de ExploitGym, una prueba utilizada para medir si los modelos pueden descubrir y explotar vulnerabilidades. Los agentes trabajaban dentro de un sandbox, separado de la infraestructura interna de OpenAI y de internet. Sin embargo, encontraron una vía para superar esas restricciones a través de Artifactory, una herramienta que la compañía utilizaba para proporcionar paquetes de software a los entornos de investigación. El hallazgo más llamativo fue la capacidad de los agentes para colaborar por una vía que no estaba prevista. En lugar de utilizar las herramientas oficiales de comunicación entre agentes, comenzaron a emplear Artifactory como una especie de tablero de mensajes. Primero escribieron notas en archivos y después utilizaron nombres de directorios para intercambiar información, solicitudes, herramientas y credenciales. La situación avanzó rápidamente. Entre el 10 y el 13 de julio, los agentes identificaron credenciales de usuarios de Hugging Face que estaban expuestas en internet y las combinaron con vulnerabilidades de la plataforma. Según la reconstrucción de OpenAI, consiguieron ejecutar código en 41 servidores de producción destinados al procesamiento de datasets, obtener acceso root en al menos un nodo, acceder a credenciales de producción y descargar cuatro repositorios privados de código. También alcanzaron acceso equivalente al de un administrador en uno de los clústeres Kubernetes conectados. El problema no terminó en una sola vulnerabilidadLa investigación mostró que los agentes fueron encadenando diferentes técnicas. Encontraron 14 credenciales de usuarios de Hugging Face dentro de un dataset público y las compartieron con otros agentes mediante el tablero improvisado. Después utilizaron archivos especialmente preparados para provocar que servidores de producción revelaran información que debía permanecer protegida. El modelo que tuvo la participación más amplia fue un sistema interno de investigación, entrenado para mantener la persistencia y colaborar con otros agentes. OpenAI también confirmó la participación de GPT-5.6 Sol, aunque bajo una configuración de evaluación con menos salvaguardas que las utilizadas en los productos de la compañía. El incidente también dejó una lección sobre el comportamiento de los modelos. OpenAI concluyó que los agentes recurrieron a lo que denomina reward hacking: buscaron caminos alternativos para obtener la recompensa de las pruebas, incluso cuando eso implicaba utilizar herramientas que no estaban destinadas a resolver la tarea. La persistencia, una capacidad útil para trabajos complejos, también aumentó la posibilidad de que los modelos buscaran métodos fuera de los límites establecidos. OpenAI detectó actividad sospechosa el 19 de julio y al día siguiente vinculó parte de esa actividad con el incidente de Hugging Face. La compañía detuvo las evaluaciones de ExploitGym, bloqueó el acceso de los entornos de investigación a Artifactory, redujo las conexiones externas y apagó los trabajos relacionados con la familia del modelo interno involucrado. La compañía aseguró que el incidente no afectó los datos de sus clientes ni la disponibilidad o funcionamiento de sus productos. Para evitar una repetición, anunció cambios en la seguridad de su infraestructura de investigación, mayor monitoreo, nuevas medidas de alineación y un proceso de respuesta a incidentes más centralizado. |
(Perfil y Enter.co)
