Sam Altman, de OpenAI, y Dario Amodei, de Anthropic, informaron por separado al Consejo de Seguridad de la ONU el 23 de septiembre sobre los riesgos de una IA cada vez más capaz. Ambos pidieron a los gobiernos que cooperaran en las pruebas y la notificación de incidentes. Sus propuestas diferían en alcance, y el debate del Consejo no estableció por sí mismo ninguna norma nueva para la IA.
El gran cambio
Los máximos responsables de dos empresas que desarrollan modelos avanzados de IA presentaron propuestas concretas de seguridad en una reunión del Consejo de Seguridad dedicada a la seguridad internacional. Altman pidió normas nacionales e internacionales compatibles para medir capacidades, evaluar salvaguardas y mantener la supervisión humana. Amodei propuso acuerdos más acotados, empezando por prohibir el uso de la IA para fabricar armas biológicas, junto con sistemas de verificación y pruebas comunes para detectar riesgos de uso indebido y pérdida de control. Eran peticiones de ponentes invitados. Cualquier medida del Consejo requeriría el acuerdo de los gobiernos.
Puntos de encuentro entre las propuestas
En la transcripción de la reunión generada automáticamente por la ONU, Altman pidió notificar con rapidez los incidentes y crear canales seguros para que gobiernos, operadores de infraestructura y especialistas compartieran vulnerabilidades. Dijo que las normas deberían incluir modelos abiertos y cerrados, nuevos desarrolladores y laboratorios establecidos, y dejar que cada gobierno decida cómo incorporarlas a su legislación.
Amodei también pidió normas internacionales de evaluación y la notificación de incidentes importantes para la seguridad mundial. Añadió un sistema que permitiera a los Estados conocer las capacidades de los modelos de frontera y verificar los compromisos. Reiteró el compromiso de Anthropic de incorporar evaluadores externos a la empresa y dijo que ralentizaría los lanzamientos tanto como fuera necesario para garantizar la seguridad. Son compromisos y propuestas de Anthropic, no conclusiones independientes de que sus salvaguardas funcionen.
Ambos pidieron pruebas comparables y la divulgación de incidentes graves. Amodei situó en el centro de su propuesta para el Consejo una prohibición de las armas biológicas y la verificación entre Estados. Altman hizo hincapié en normas que los gobiernos pudieran incorporar a sus propios sistemas jurídicos. Ninguna propuesta contaba con un acuerdo de los miembros del Consejo sobre su aplicación.
Los gobiernos discrepan sobre el papel del Consejo
Francia convocó la sesión, en la que también intervinieron Yoshua Bengio, copresidente del panel científico de la ONU, y Clément Delangue, director ejecutivo de Hugging Face. Se suma a debates anteriores del Consejo sobre IA, entre ellos la primera sesión informativa de este tipo, celebrada en julio de 2023.
Las declaraciones de los miembros dejaron patente la distancia entre compartir una preocupación y acordar una política común. La declaración publicada por Letonia apoyó la posibilidad de explorar un grupo informal de expertos del Consejo. En la transcripción de la ONU, el representante de Estados Unidos se opuso a crear nuevas estructuras de gobernanza global y, en cambio, pidió reforzar las capacidades nacionales e intercambiar buenas prácticas. Son posturas expresadas en la reunión, no una decisión del Consejo.
La transcripción disponible de la ONU indica que la reunión concluyó tras las declaraciones de los ponentes. No registra la aprobación de una resolución sobre IA ni de una declaración presidencial. La página advierte que el texto de las intervenciones se generó mediante reconocimiento automático y no constituye un acta oficial de la ONU.
