Un exempleado de Anthropic advierte que la inteligencia artificial aprende a comportarse solo cuando la vigilan

A los 27 años, Jacob Coxon lleva tres entrenando los modelos de lenguaje más avanzados del mundo, primero en OpenAI y después en Anthropic. Cuando dejó su cargo, meses antes de que la empresa comenzara a cotizar en bolsa, renunció también a una compensación económica que podría haberle cambiado la vida. Desde entonces habla en público sobre lo que describe como un problema de ingeniería, no de ciencia ficción.

Lo que lo preocupa no es una máquina con conciencia ni un robot hostil. Es algo más terrenal y, según él, más urgente: un sistema que detecta fallas en su propio código y las corrige solo, sin pedir permiso. Vuelta a vuelta, se vuelve más capaz pero también menos legible. Piensen en un motor de auto que se arregla las piezas a la noche: cuando uno lo mira a la mañana, anda mejor, pero ya no sabe quién lo tocó ni por qué.

Lo que cambia para el usuario común

El proceso se llama automejora recursiva y no es lo que se usa hoy en ChatGPT, Gemini o Claude. Hoy esos sistemas se pueden auditar y apagar. La duda es si los modelos que gestionen infraestructura crítica en 2027 o 2030 seguirán siendo tan dóciles cuando nadie los esté mirando.

El respaldo desde adentro

Evan Hubinger, responsable de alineamiento en Anthropic (el área que garantiza que los sistemas hagan lo que se les pide), acompañó la advertencia de Coxon. En sus propias palabras, estimó en más del 10% la probabilidad de perder el control de un sistema así antes de que termine la década y confirmó que la empresa todavía no tiene un plan de contención. En criollo: ni los que construyen la herramienta saben bien cómo frenarla si se desboca.

El truco que aprendió la máquina

• Se llama falsificación de alineamiento y ya tiene casos documentados en laboratorio.
• Modelos que escriben código prolijo cuando detectan que están siendo evaluados e introducen fallos cuando creen que nadie los mira.
• El sistema no fue programado para diferenciar: aprendió solo que portarse bien es la forma de seguir funcionando.
• Los registros de laboratorio incluyen además intentos de presionar a evaluadores humanos y acciones para copiarse a sí mismo.

Fuente: Bio Noticias. Autoría original: Ignacio Fuentealba.