Sam Altman traza la línea roja: control humano y poder concentrado, los dos miedos que la IA todavía no sabe desactivar

El director ejecutivo de OpenAI, Sam Altman, identificó dos escenarios que, a su entender, resumen los mayores peligros del avance de la inteligencia artificial. Son riesgos de manual, pero conviene leerlos con lupa porque llegan de boca de quien maneja uno de los proyectos más ambiciosos del sector.

Perder el control de sistemas cada vez más capaces

El primer riesgo es el más clásico: que la humanidad pierda el control sobre sistemas de IA progresivamente más avanzados. "Podríamos perder el control del futuro ante la IA. Esto es inaceptable; estamos, sin disculpas, en el Equipo Humanidad, y la IA debe siempre servir a las personas", sostuvo Altman.

¿La solución? Para Altman, las técnicas de alineación y seguridad deben avanzar al mismo ritmo que las capacidades de los modelos, o incluso por delante. Es decir: primero se prueban los frenos y después se acelera.

Que un solo actor acumule demasiado poder

“Si una IA extraordinariamente poderosa es utilizada por una persona o empresa para imponer su visión del mundo a todos los demás, los resultados podrían ser extremadamente distópicos.”Sam Altman, CEO de OpenAI

Altman reconoció que evitar ambos riesgos a la vez implica caminar por una cornisa estrecha: regular sin frenar la innovación, abrir sin desproteger, competir sin romper nada.

Qué pide, concretamente, y quién debería pagar la cuenta

• Un marco regulatorio federal, es decir, con normas de aplicación en todo el país y no provincia por provincia, que fije requisitos de seguridad comunes para los modelos de frontera, los ubicados en el límite de las capacidades tecnológicas actuales.
• La incorporación de auditores independientes a los mecanismos de supervisión, en línea con lo que ya ocurre en otros sectores donde el Estado delega pericias técnicas.
• Coordinación internacional entre gobiernos, un punto donde las empresas necesitan el paraguas estatal porque ninguna compañía puede negociar tratados por su cuenta.

Altman fue claro en un punto: las empresas no deberían esperar a que se aprueben nuevas leyes para empezar a aplicar medidas de seguridad por cuenta propia. Es una manera de sacarse la excusa de encima antes de que se la saquen.

Lo que falta

• Detalle técnico de cómo se audita un modelo de frontera sin violar la propiedad intelectual ni la seguridad de la propia empresa.
• Quién paga los sistemas de auditoría independiente: si el Estado, las compañías o un fondo mixto.
• Métricas concretas para medir si la alineación va al ritmo de las capacidades, una definición que sigue siendo más que protocolo.
• Reglas claras sobre qué hacer cuando un laboratorio detecta que su propio modelo se volvió demasiado poderoso: ¿se frena, se reporta, se desconecta?