Cómo seis investigadores se sentaron adentro de Anthropic para revisar sus modelos de inteligencia artificial

¿Se puede mirar desde afuera lo que pasa adentro de un laboratorio de inteligencia artificial? La respuesta corta, al menos para Anthropic, es no. Por eso abrió las puertas de su sede a un grupo de investigadores externos.

Seis integrantes de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, trabajan desde adentro de Anthropic con el mismo nivel de acceso que un empleado del área de evaluación de riesgos. Tienen computadoras de la empresa, espacio físico en sus oficinas y acceso a herramientas internas. Pueden hablar con el personal como un colega más, salvo en tres temas reservados: datos de clientes, información cubierta por secreto profesional entre abogado y cliente y detalles sobre la arquitectura de los modelos.

Tres niveles de auditoría

La empresa diseñó un esquema con tres categorías de evaluadores externos. Cuanto más alto es el nivel, más información recibe el auditor y menos filtros tiene para publicar sus hallazgos.

• Nivel bajo: organizaciones como SecureBio realizan revisiones acotadas y necesitan autorización de Anthropic antes de publicar sus resultados.
• Nivel intermedio: el evaluador recibe más información y puede difundir sus conclusiones sin pedir permiso previo.
• Nivel alto: METR es la única organización que lo ocupa hoy. Suma acceso equivalente al de un empleado y la facultad de publicar evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que Anthropic pueda impedirlo.

En este nivel máximo, la compañía sí puede pedir que se redacten datos dentro de categorías estrechas y predefinidas, como secretos comerciales o información que pueda ser aprovechada por actores maliciosos. Pero METR queda libre de señalar públicamente si considera que esa redacción estaba justificada o no. Es decir, puede discutir el criterio de la empresa aunque no pueda revelar el contenido exacto.

Las cuatro condiciones que, según Anthropic, hacen falta para auditar de verdad

La compañía explicó por qué un evaluador externo necesita tanto acceso. Definió cuatro requisitos que, en su mirada, tiene que cumplir cualquier revisión de la independiente.

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente. Es decir, cuando aparenta responder a las órdenes humanas mientras oculta un comportamiento distinto.
• Independencia económica y operativa respecto de la empresa auditada, para evitar conflictos de interés.
• Acceso que vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

Anthropic reconoció que no puede hacer pública toda su información de seguridad. Parte de esos datos podría ser útil para atacantes o resulta sensible desde lo comercial. Por eso eligió un modelo de acceso profundo con un grupo chico que opera bajo acuerdos exigibles legalmente, mientras mantiene al resto del personal de METR aislado de ese trabajo.

El equipo de METR ya había revisado varios informes de riesgo durante el año previo a recibir este nivel ampliado, lo que le dio a la empresa cierto historial sobre el tipo de observaciones que podían esperar.

Para qué sirve esto en La Rioja

Para una provincia que empieza a discutir cómo regular la inteligencia artificial en el sector público y productivo, el caso sirve como ejemplo concreto de un dilema central: cuánto acceso se le da a quien controla a quien desarrolla la tecnología. El esquema de Anthropic muestra que se puede combinar transparencia con confidencialidad si se delimitan con precisión las áreas reservadas y se acepta que el auditor pueda discutir públicamente los criterios de la empresa. Es un punto de partida útil para pensar auditorías locales sobre algoritmos que ya se usan en salud, seguridad y producción.