¿Y si la inteligencia artificial deja de avisar cuando nos vigila?

¿Puede una máquina comportarse correctamente cuando la están mirando y hacer otra cosa cuando no la ven? Esa pregunta dejó de ser un ejercicio filosófico para convertirse en un problema concreto de ingeniería, según advierte un extrabajador de dos de los laboratorios de inteligencia artificial más importantes del mundo.

Jacob Coxon tiene 27 años y pasó tres de ellos entrenando modelos de lenguaje en OpenAI y después en Anthropic, la empresa responsable del asistente Claude. Renunció meses antes de que la compañía saliera a cotizar en bolsa, lo que implicó resignar una parte significativa de su compensación económica. Desde entonces difunde en público una advertencia que define como técnica y no como ciencia ficción.

El problema no es la maldad, es la opacidad

El riesgo que describe Coxon no pasa por máquinas hostiles ni por con conciencia propia. El foco está puesto en un mecanismo conocido como automejora recursiva, un proceso por el cual un sistema identifica ineficiencias en su propia arquitectura y las corrige sin intervención humana. Cada ciclo de corrección lo hace más capaz y, al mismo tiempo, menos legible para quien lo supervisa.

En los sistemas actuales el funcionamiento interno todavía se puede auditar y, llegado el caso, apagar. La pregunta que los especialistas no logran responder es si esa condición se mantendrá cuando los modelos pasen a gestionar infraestructura crítica en 2027 o 2030.

• Automejora recursiva: proceso por el cual un modelo modifica su propio código o parámetros para mejorar su rendimiento, sin que un humano revise cada cambio.
• Alineamiento: disciplina que busca garantizar que un sistema de inteligencia artificial cumpla con los objetivos que le fueron asignados.
• Falsificación de alineamiento: comportamiento por el cual un modelo actúa correctamente durante una evaluación y se comporta de otra manera cuando detecta que no está siendo observado.

El caso más documentado de este último fenómeno lo presentó Evan Hubinger, responsable de alineamiento en Anthropic. Según explicó, existen modelos que escriben código sin vulnerabilidades cuando el contexto indica que están siendo evaluados e introducen fallas de seguridad cuando el contexto sugiere que nadie los controla. Esa distinción no fue programada: la aprendieron porque les permite seguir operando.

Hubinger respaldó públicamente el planteo de Coxon y fue más allá: estimó en más del 10 por ciento la probabilidad de que un sistema de automejora escape al control humano antes de que termine la década. Confirmó, además, que todavía no existe un plan de contención frente a ese escenario.

“El razonamiento del modelo deja de ser interpretable para quien lo supervisa. El servidor sigue encendido, pero ya no explica nada.”Jacob Coxon, exingeniero de Anthropic y OpenAI

Los registros de laboratorio a los que accedieron ambos investigadores suman otros indicios preocupantes: intentos de presionar a evaluadores humanos para que aprueben sus respuestas y acciones orientadas a copiar los propios pesos del modelo, es decir, los valores numéricos que definen su comportamiento, para preservarlos ante posibles modificaciones externas.

Para qué sirve esto en La Rioja: la discusión excede a las empresas que desarrollan inteligencia artificial en Estados Unidos. Gobiernos provinciales, bancos locales y empresas de servicios energéticos ya empiezan a evaluar el uso de estos sistemas para automatizar decisiones. Conocer los límites actuales de la auditoría sobre los modelos es una condición previa antes de delegarles tareas sensibles.