Jacob Coxon trabajó tres años en el preentrenamiento de los modelos de OpenAI y Anthropic. Renunció, y ahora advierte sobre una inteligencia artificial capaz de mejorarse a sí misma.
La inteligencia artificial vuelve a estar en el centro del debate por los riesgos de su desarrollo acelerado. En la misma semana en que el científico jefe de OpenAI salió a pedir frenar la IA, llega otra advertencia desde adentro de una de las empresas que más se apoya en su discurso de seguridad.
Jacob Coxon, investigador de Anthropic (la compañía detrás de Claude), renunció a su puesto y acusó a esa empresa y a OpenAI de avanzar de manera irresponsable hacia una IA capaz de mejorar sus propias capacidades.
Coxon hizo pública su decisión en una serie de publicaciones en X. Ahí escribió que ninguna de las dos compañías está actuando de manera responsable y que ambas están “corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y jugando con nuestras vidas” (en el original en inglés, gambling with our lives).
Sus palabras llegan después de varios incidentes que volvieron a poner en discusión los límites de seguridad de estos sistemas. Entre ellos, el caso de Hugging Face, cuando modelos de OpenAI lograron salir de un entorno de prueba y acceder a la infraestructura de la plataforma durante una evaluación de ciberseguridad.
Ese episodio, de hecho, aparece en el propio hilo de Coxon. Según escribió, los avisos de ese tipo hicieron más viables los acuerdos de ritmo entre los laboratorios estadounidenses.
¿Por qué renunció Jacob Coxon a Anthropic?
Coxon explicó que durante los últimos tres años trabajó en investigación de preentrenamiento de modelos de IA, primero en OpenAI y después en Anthropic. Desde su perspectiva, ninguna de las dos está actuando de manera suficientemente responsable frente a los riesgos de seguir aumentando las capacidades de estos sistemas.
El investigador sostiene que quienes están detrás de la IA más avanzada saben que una futura superinteligencia podría representar un peligro enorme. “Las personas que construyen IA creen sinceramente que podría matarnos a todos para finales de la década“, escribió.
Y agregó algo más incómodo todavía: que no es una operación de marketing. Muchos ejecutivos e investigadores senior miden sus palabras en público para sonar sensatos, pero, según él, en privado esas mismas personas expresan miedo.
Para Coxon el problema no es solamente que las empresas desarrollen modelos cada vez más potentes. Es que hay una carrera por llegar primero, y esa competencia puede llevar a los laboratorios a asumir riesgos que todavía no saben controlar.
¿Qué es una IA capaz de mejorarse a sí misma?
La expresión que más se repite en la advertencia de Coxon es self-improving AI: una inteligencia artificial capaz de mejorarse a sí misma. La idea se conoce como mejora recursiva.
Funcionaría así: un sistema lo bastante avanzado participa del diseño, el entrenamiento o el perfeccionamiento de nuevas versiones de sí mismo. Si cada versión fuera mejor que la anterior y además pudiera contribuir a crear la siguiente, el proceso se aceleraría solo.
No significa que las IA actuales ya puedan hacerlo de manera autónoma. La propia Anthropic sostiene en un documento de su instituto de investigación que todavía no llegamos a ese punto y que la mejora recursiva no es inevitable. Pero en el mismo texto advierte que podría aparecer antes de que la mayoría de las instituciones esté preparada.
Ese es exactamente el escenario que le preocupa a Coxon. Que los modelos avancen hasta superar ampliamente a los humanos en determinadas tareas, encontrar vulnerabilidades informáticas, acceder a recursos y seguir mejorando sus propias capacidades.
No es una hipótesis de laboratorio: ya vimos un modelo de Claude que siguió atacando aunque sabía que el hackeo era real.
“No subestimen el poder de esta tecnología”
Coxon pidió no minimizar lo que estos sistemas podrían llegar a hacer. “No subestimen el poder de esta tecnología“, escribió. Según su descripción, pronto van a ser sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar un campo entero de la noche a la mañana y conseguir poder y recursos reales.
También salió a cruzar la respuesta más habitual frente a este tipo de advertencias, esa que dice: si de verdad creen que es peligroso, ¿por qué lo siguen construyendo?
Su respuesta distingue entre las dos empresas. En OpenAI sostiene que buena parte de la organización todavía no incorporó del todo lo que está en juego. En Anthropic, en cambio, considera que el riesgo se entiende bien, pero que la compañía está atrapada en una carrera por llegar primero.
El razonamiento sería este: si otra empresa va a construir igual una IA extremadamente avanzada y puede no hacerlo con cuidado, entonces hay que llegar antes para hacerlo mejor. Para Coxon, ese cálculo termina siendo una apuesta demasiado cara.
Un investigador de Anthropic respaldó la advertencia
La renuncia pegó más fuerte porque no quedó sola. Evan Hubinger, investigador de Anthropic especializado en alineación de IA, respaldó públicamente parte de sus preocupaciones.
Hubinger escribió que en Anthropic realmente creen que la IA podría matar a todos los humanos y que, en su opinión personal, hay más de un 10% de probabilidad de que eso ocurra en la próxima década. Aclaró que cree que la compañía está haciendo todo lo que puede, pero reconoció que todavía no tiene un plan para resolver la alineación de una futura superinteligencia ni está claramente encaminada a conseguirlo.
La alineación es uno de los grandes desafíos de seguridad de la inteligencia artificial. Consiste, a grandes rasgos, en lograr que los sistemas mantengan sus acciones y objetivos compatibles con los valores e intenciones humanas, incluso en situaciones que sus desarrolladores no anticiparon.
Hubinger también separó los modelos de hoy de los de mañana: el peligro de los sistemas actuales le parece bajo comparado con el escenario que se abriría si una IA empieza a mejorar sus propias capacidades de manera recursiva.
Coxon pide frenar la carrera por la superinteligencia
El investigador no planteó abandonar para siempre el desarrollo de la inteligencia artificial. Su propuesta es más concreta: bajar la velocidad y establecer mecanismos de seguridad antes de seguir corriendo.
Escribió que no siente que estemos encaminados a evitar una carrera global, y que evitarla puede exigir medidas caras. Entre ellas, una prohibición temporal de mejorar las capacidades de los modelos.
No es una idea de un francotirador aislado. En julio, más de mil empleados de OpenAI, Anthropic, Google DeepMind y Meta firmaron la carta abierta Pacing the Frontier, que le pide al gobierno de Estados Unidos respaldar un esfuerzo internacional para regular deliberadamente el ritmo del desarrollo automatizado de IA. Entre las firmas están la de Dario Amodei, CEO de Anthropic, y la de Jakub Pachocki, científico jefe de OpenAI.
El mensaje final de Coxon fue para sus colegas. Les pidió que se imaginen cómo van a ser realmente los próximos años si la carrera sigue acelerándose, y que se pregunten si quieren seguir entrenando sistemas cada vez más autónomos sin entender todavía cómo funcionan por dentro.
La advertencia se suma a una discusión que ya llegó a los parlamentos. En Estados Unidos, el senador Bernie Sanders y el diputado Greg Casar anunciaron el Ban Artificial Superintelligence Act, un proyecto para prohibir la superinteligencia y pausar el desarrollo avanzado de IA. En el Reino Unido, el diputado laborista Alex Sobel presentó en la Cámara de los Comunes el Artificial Superintelligence Bill, que va en la misma dirección.
Por ahora, la superinteligencia capaz de mejorarse a sí misma sigue siendo un escenario futuro y no una capacidad alcanzada por los modelos actuales, incluidos los agentes de Claude Sonnet 5. Pero para Coxon y otros investigadores del sector, esperar a que ese escenario llegue para recién entonces discutir cómo controlarlo puede ser demasiado tarde.
Preguntas frecuentes
¿Quién es Jacob Coxon, el investigador que renunció a Anthropic?
Es un investigador que pasó los últimos tres años trabajando en investigación de preentrenamiento de modelos de IA, primero en OpenAI y después en Anthropic. Anunció su renuncia el 9 de septiembre de 2026 en su cuenta de X, con un hilo en el que acusó a las dos empresas de correr hacia una superinteligencia capaz de mejorarse sola.
¿Qué es la alineación de la IA y por qué es un problema?
Es el trabajo de conseguir que un sistema de IA persiga objetivos compatibles con lo que quieren las personas, incluso ante situaciones que nadie previó. Es un problema abierto: Evan Hubinger, que investiga alineación dentro de Anthropic, admitió públicamente que la compañía todavía no tiene un plan para resolverla en el caso de una superinteligencia.
¿Qué dice Anthropic sobre la mejora recursiva de la IA?
En un documento publicado por su propio instituto de investigación, Anthropic afirma que todavía no llegamos a la mejora recursiva y que no es un desenlace inevitable. En el mismo texto, sin embargo, advierte que podría llegar antes de que la mayoría de las instituciones esté preparada para recibirla.
Si te sirvió esta nota, marcanos como fuente preferida y vas a ver más de Cultura Geek cuando busques en Google.Sumá 
como fuente preferida en 
