El responsable de alineación de Anthropic reconoce públicamente el riesgo "sin solución" de la superinteligencia; el sector advierte que se "apuesta por vidas humanas"

Evan Hubinger, jefe científico de alineación de Anthropic, reconoció públicamente esta semana, en un hecho poco habitual, que la empresa cree genuinamente que la superinteligencia podría "matar a toda la humanidad" en esta década, y que actualmente no existe una solución clara al denominado "problema de alineación". Se trata de la última sacudida procedente del interior de la empresa tras el anuncio de dimisión del investigador de Anthropic Jacob Coxon.

Según informó ABC News Australia, Coxon afirmó sin rodeos en la red social X que eligió irse tras acumular tres años de investigación en preentrenamiento entre Anthropic y OpenAI, porque "ninguna de las dos empresas está actuando de forma responsable". Sus palabras textuales fueron: "Están corriendo a toda velocidad hacia una superinteligencia de auto-mejora, y lo que están apostando son nuestras vidas".

Hubinger respondió posteriormente en X que lo dicho por Coxon era "correcto". Escribió: "¡Realmente creemos que la IA podría matar a toda la humanidad! Personalmente considero que la probabilidad de que ocurra en los próximos diez años supera el 10%." Sobre la cuestión de la trayectoria tecnológica, que afecta a la supervivencia de la empresa y al destino de la humanidad, también reconoció: "Creo que Anthropic está haciendo lo que puede, pero no tenemos una solución al problema de alineación de la superinteligencia, ni estamos claramente en camino hacia esa solución".

Coxon no es un caso aislado. En julio de este año, más de 1.300 empleados de Anthropic, OpenAI y otras empresas de IA de frontera firmaron una declaración pública en la que advirtieron que "el desarrollo de capacidades podría superar rápidamente nuestra capacidad para comprender o controlar los sistemas que producimos", e hicieron un llamado al gobierno de Estados Unidos para que respalde los esfuerzos internacionales destinados a crear herramientas que permitan "controlar conscientemente el ritmo de desarrollo de la IA de frontera". La iniciativa fue bautizada como "Pacing the Frontier".

Sin embargo, las respuestas de ambas empresas a la carta firmada se quedaron en el plano de los principios, sin compromisos de acción concretos. Según declaraciones de ambas compañías en la plataforma X citadas por ABC News Australia, Anthropic reconoció que la investigación sobre "auto-mejora recursiva" publicada el mes pasado "apunta a la necesidad de contar con herramientas que permitan controlar conscientemente el ritmo de desarrollo de la IA de frontera, para que la sociedad pueda prepararse"; OpenAI, por su parte, señaló en términos vagos que "creemos que, en algún momento futuro, la aceleración de la IA derivada del desarrollo de modelos de frontera podría ser tan elevada que el mundo necesitará controlar el ritmo del progreso de la IA". Ninguna de las dos empresas se comprometió a pausar el desarrollo ni a aceptar una regulación externa vinculante.

La ausencia de regulación está siendo señalada cada vez con más crudeza en escenarios internacionales. Según informó ABC News Australia, el Alto Comisionado de las Naciones Unidas para los Derechos Humanos, Volker Turk, advirtió el lunes en Ginebra que la IA avanzada podría representar un "riesgo existencial" para la humanidad, y juró presionar a las empresas concernidas para reducir los riesgos enumerados por su oficina, entre ellos el impacto sobre los servicios públicos, las comunicaciones y los sistemas democráticos. Turk hizo un llamado a forjar "garantías férreas" para la seguridad de la IA "antes de que sea demasiado tarde". "Al igual que personas de dentro del sector, me preocupa que la IA avanzada pueda representar un riesgo existencial para la humanidad", declaró ante un organismo de la ONU.

La esencia del "problema de alineación" radica en que un sistema de IA que supere las capacidades humanas podría no compartir los valores humanos. En un contexto en el que a nivel federal en Estados Unidos aún no se ha establecido un marco regulatorio vinculante para la IA de frontera, el interior de la industria está reconociendo ahora de la forma más cruda posible que la distribución de riesgos y beneficios de esta carrera no es simétrica: las ganancias quedan en manos de las empresas, mientras que el costo podría recaer sobre toda la humanidad.