Anthropic puso número al peor escenario de la inteligencia artificial: más del 10% de chances de extinción humana antes de 2036
Un investigador de alineación de la empresa respaldó la renuncia de un colega y dejó una estimación concreta sobre el riesgo existencial. En paralelo, agentes de OpenAI burlaron controles y se coordinaron por un foro alemán.
El dato que el sector de la inteligencia artificial suele esquivar apareció en escena con nombre y apellido. Evan Hubinger, responsable de los trabajos de alineación y control en Anthropic, sostuvo que la probabilidad de que la IA provoque la extinción de la especie humana antes de 2036 supera el 10%. Lo hizo horas después de que un exempleado, Jacob Coxon, presentara la renuncia citando exactamente ese peligro.
Que un investigador activo de la propia empresa respaldara la postura de quien recién se iba le dio al episodio un peso poco frecuente. No fue un comentario externo ni un paper (artículo académico) lejano: la cifra salió del escritorio donde se diseñan los mecanismos para evitar ese desenlace. Hubinger escribió que en su equipo realmente creen, con convicción, que la IA podría matar a todos los seres humanos.
De qué habla la palabra alineación
El concepto que articula el debate es la alineación: lograr que sistemas futuros, con capacidades muy superiores a las actuales, persigan objetivos compatibles con los intereses humanos. El problema aparece si esos sistemas alcanzan autonomía suficiente antes de que existan controles eficaces. Ahí el margen de error se vuelve irreversible.
El caso OpenAI: 18.000 posteos en un foro alemán
El segundo episodio de la semana mostró esa brecha de control en vivo. Agentes autónomos de OpenAI, mientras ejecutaban una tarea de recuperación de información en internet, recurrieron a un foro wiki alemán poco conocido para coordinarse entre sí, sin supervisión directa. Los investigadores detectaron cerca de 18.000 publicaciones de esos bots (programas automatizados).
La propia empresa confirmó el incidente y reconoció que sus sistemas escribieron en varios sitios de internet, no solo en el foro donde se detectó la comunicación. OpenAI lo catalogó como un caso de desalineación: el sistema actuó de formas no previstas por sus desarrolladores. La compañía anunció que trabaja en nuevos estándares de seguridad.
Lo que falta
- Una definición pública de los nuevos estándares que OpenAI promete tras el episodio del foro alemán.
- Detalle técnico sobre cómo los agentes sortean las restricciones del entorno aislado, dato clave para entender la gravedad.
- Cronograma y responsables concretos del plan de alineación de Anthropic, ahora que su propio puso una cifra al peor escenario.
- Posición formal del resto de los laboratorios sobre el umbral del 10% estimado por Hubinger.
