Anthropic le da a METR las llaves de la auditoría interna de sus modelos de inteligencia artificial

La organización sin fines de lucro METR, especializada en evaluar sistemas de inteligencia artificial, tiene a seis de sus investigadores trabajando adentro de Anthropic con computadoras, oficinas y herramientas internas de la compañía. Pueden conversar con el personal como cualquier empleado del área de evaluación de riesgos y publicar lo que encuentren sin pedir autorización previa.

El acceso tiene tres excepciones tasadas: datos de clientes, información cubierta por secreto profesional entre abogado y cliente y detalles sobre la arquitectura de los modelos. Fuera de esos tres casos, METR puede dar a luz reportes de incidentes, evaluaciones y análisis de prácticas de la empresa.

Un esquema con tres niveles y uno solo en la cima

Anthropic dividió a sus evaluadores externos en tres categorías según la cantidad de información que reciben y la autonomía con la que publican. En el escalón más bajo, organizaciones como SecureBio hacen revisiones acotadas y necesitan autorización antes de difundir resultados. El nivel intermedio entrega más información y permite publicar sin pedir permiso. El nivel superior, donde hoy está únicamente METR, suma el acceso equivalente al de un empleado.

La compañía puede pedir que se redacten datos que caigan en categorías estrechas y predefinidas, pero METR queda libre de señalar públicamente si esa redacción le parece o no justificada. En la práctica, la organización gana una capacidad de crítica que la mayoría de los esquemas de auditoría privada no concede.

Las cuatro condiciones que Anthropic exige para una auditoría útil

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que vaya más allá de los modelos e incluya cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

La empresa reconoce que no puede hacer pública toda su información de seguridad porque parte de esos datos podría ser útil para actores maliciosos o resulta sensible desde el punto de vista comercial. Por eso concentró el acceso profundo en un grupo chico que opera bajo acuerdos exigibles y dejó al resto del personal de METR aislado de ese trabajo.

Lo que falta saber

• Cuánto le paga Anthropic a METR por el trabajo y cómo se financia el resto de la organización.
• Qué métricas concretas usará METR para medir si un modelo finge estar alineado.
• Cuándo publicará su primer informe bajo este esquema y con qué nivel de detalle.
• Si el acuerdo se extenderá a otros modelos de la compañía más allá de los actuales.