Anthropic, la empresa detrás de Claude, alertó que sus próximos modelos podrían acercarla a la automejora recursiva: una IA que acelera el desarrollo de la IA que viene después. Y lo escribió en los papeles de su salida a bolsa.
Una de las tecnologías que no para de avanzar a pasos agigantados es la inteligencia artificial, que ahora podría estar en una nueva etapa de desarrollo. Según reveló Anthropic, la empresa responsable de Claude, sus próximos modelos podrían acercarse a un concepto conocido como automejora recursiva (RSI, por sus siglas en inglés).
Pero ¿qué significa esto? Que una IA puede volverse tan capaz que acelere su propia evolución y ayude a desarrollar sistemas más avanzados.
La advertencia no salió de un anuncio de la empresa. Apareció en la enmienda al formulario S-1, el prospecto de su salida a bolsa, que presentó este 2 de noviembre ante la Comisión de Bolsa y Valores de Estados Unidos (SEC).
Ahí, la empresa reconoce que usar IA en sus propios procesos de investigación y desarrollo podría hacer avanzar a sus modelos más rápido que su capacidad de implementar medidas de seguridad.
¿Qué es la automejora recursiva de la IA?
La automejora recursiva es un escenario en el que una IA participa en la creación de modelos más avanzados. Estos, a su vez, podrían tener mejores capacidades para desarrollar nuevas generaciones de sistemas, en un ciclo de mejoras cada vez más rápido.
Si este proceso se acelera, el progreso de la IA podría volverse muy difícil de seguir para los equipos humanos.
Por supuesto, es algo que genera entusiasmo y preocupación al mismo tiempo. Por un lado, está la posibilidad de impulsar descubrimientos científicos, mejorar la productividad y resolver problemas complejos. Por el otro, el temor de que los sistemas alcancen capacidades que sus propios desarrolladores no puedan supervisar o comprender.
Según la empresa, cada versión de Claude ya ayuda a construir la siguiente, con sus ingenieros cada vez más dedicados a dirigir y revisar ese trabajo. En septiembre, más del 90% de las contribuciones a su código fueron escritas por Claude. Una medición anterior de la compañía ya mostraba que, en agosto, Claude lideraba el 26% de su trabajo de investigación y desarrollo de modelos.
Automejora recursiva: qué agregó Anthropic en una semana
Lo más llamativo sale de comparar los dos documentos. El S-1 original, del 26 de octubre, ya mencionaba la automejora recursiva, pero la enmienda suma frases que no estaban.
La principal: según estimaciones internas y expectativas sobre modelos futuros (no sobre los actuales), la empresa podría cumplir de forma inminente la definición de su política de seguridad para un escenario de “progreso dramáticamente acelerado atribuible a la IA” (traducción propia; en el original, “dramatically accelerated progress attributable to AI”).
También cambió otra frase. El 26 de octubre decía que podía no detectar una aceleración importante hasta después de ocurrida; ahora admite que eso ya le pasó y que podría volver a pasarle.
Esto no significa que Claude ya sea capaz de diseñar y construir nuevas generaciones de inteligencia artificial por su cuenta. De hecho, Anthropic aclaró que no designó a ninguno de sus modelos actuales como superior a ese umbral y que todavía está evaluando los datos.
¿Qué umbral podría cruzar Anthropic?
Sale de la Responsible Scaling Policy, el conjunto de lineamientos que la empresa usa para monitorear y reducir los riesgos de sus modelos más avanzados. Su versión 3.4, de julio, da por alcanzado el umbral de investigación y desarrollo en dos casos.
El primero es que los modelos puedan reemplazar por completo a todos sus investigadores e ingenieros de investigación a un costo competitivo. El segundo, al que apunta la frase de la enmienda, es una aceleración drástica del progreso de la IA, probablemente por la automatización de ese trabajo: lograr en un año lo que llevaría dos sin aportes significativos de la IA.
La misma política explica que este umbral busca captar el inicio de una automejora recursiva drástica, y reconoce que resultó difícil de llevar a la práctica.
¿Qué riesgos implica para el futuro de la inteligencia artificial?
Uno de los principales problemas que plantea este escenario es que la tecnología podría avanzar más rápido que los mecanismos diseñados para garantizar su seguridad. Anthropic explicó que usar IA para desarrollar modelos más capaces podría representar un riesgo considerable, sobre todo si acelera con fuerza el ritmo de progreso.
Si sus capacidades superaran a esas medidas, la empresa dice que podría no llegar a evaluar o reducir los riesgos, con incidentes de seguridad, intervención regulatoria o daño a su reputación como posibles consecuencias. No es su primera advertencia de este tipo a inversores: a fines de septiembre ya se habían conocido otros riesgos de su propia IA.
Según el documento, no prevé poder usar a Claude de forma segura para diseñar y construir por completo generaciones sucesivas de modelos sin una supervisión humana significativa, si es que eso llega a ser técnicamente posible. Por eso, está considerando cambios en su política para mantener a las personas al mando del desarrollo de sus modelos más avanzados.
También evalúa exigir revisión y aprobación humana para ciertas decisiones de investigación y desarrollo, a medida que sus modelos hagan una parte mayor de ese trabajo. Y cuenta que hace poco retrasó más de un mes el preentrenamiento de un nuevo modelo base para reforzar las medidas contra el robo de los pesos de sus modelos y proteger su propiedad intelectual.
Por ahora, Anthropic no confirmó que haya alcanzado la automejora recursiva, pero sí considera que podría estar cerca de ese escenario. Y aunque todavía no estamos frente a una IA que pueda construir de forma autónoma a su sucesora, la posibilidad ya forma parte de las preocupaciones de quienes desarrollan esta tecnología: en septiembre, el investigador Jacob Coxon renunció a Anthropic con críticas por ese mismo motivo.
Preguntas frecuentes
¿Anthropic ya cotiza en bolsa?
Según este documento, todavía no. La empresa pidió cotizar en el Nasdaq con el símbolo ANT, y en la enmienda el rango de precio por acción sigue en blanco.
¿Qué pasa si Anthropic cruza ese umbral?
La empresa dice que está evaluando las implicancias y que va a publicar más informes, como prevé su política. Esa política también prevé publicar un análisis dentro de los 30 días si determina que un modelo de uso interno podría plantear riesgos de este tipo significativamente superiores a los que ya analizó públicamente.
¿Puede afectar a quienes usan Claude?
Podría. Anthropic avisa que sus precauciones pueden influir en si desarrolla o lanza nuevos modelos, y en cómo y cuándo lo hace. Ya retrasó lanzamientos y limitó el acceso inicial a algunos, como pasó con Mythos.
Si te sirvió esta nota, marcanos como fuente preferida y vas a ver más de Cultura Geek cuando busques en Google.Sumá 
como fuente preferida en 
