Terrorismo, crisis, guerra química o ciberataques. OpenAI se prepara contra los riesgos de la AGI
La empresa de Sam Altman, OpenAI, actualiza su marco de seguridad contra los riesgos de la AGI, la inteligencia artificial de última generación con capacidades autónomas. En concreto, en su nuevo documento se prepara contra el terrorismo, crisis económicas, guerra química o ciberataques inducidos por las acciones de la IA.
OpenAI publica la versión 2 de su Preparedness Framework, un sistema de alerta temprana y control de daños diseñado para anticipar los peores escenarios provocados por sus modelos más potentes.
En él clasifica los riesgos por nivel de gravedad e identifica qué capacidades podrían desencadenar una catástrofe tecnológica.
El marco define daño severo como la muerte o lesión grave de miles de personas o pérdidas económicas de cientos de miles de millones.
Y aunque la IA promete revolucionar la ciencia y la industria, OpenAI reconoce que ciertas capacidades fronterizas también pueden facilitar crímenes, guerras o colapsos sociales.
OpenAI centra su atención en tres frentes principales. Primero, los riesgos biológicos y químicos, donde una IA puede facilitar desde curas médicas hasta la creación de armas de destrucción masiva.
En segundo lugar, la ciberseguridad, con la IA como posible fuerza multiplicadora de ciberataques automatizados. Y, por último, la auto-mejora de la IA, un escenario donde los modelos pueden escapar del control humano.
Para definir cuándo una capacidad entra en zona roja, OpenAI aplica cinco filtros, que el daño sea plausible, mensurable, severo, nuevo y, sobre todo, inmediato o irreparable. Si los supera, esa capacidad se vigila de cerca y exige salvaguardas técnicas y operativas antes de cualquier despliegue.
El documento también distingue entre dos niveles de alarma.
Capacidad Alta obliga a blindar el sistema antes de sacarlo al público.
Capacidad Crítica podría incluso frenar su desarrollo si no se garantiza un control efectivo desde dentro.
Los riesgos biológicos y químicos son, para OpenAI, los más disruptivos y delicados. Una IA avanzada podría, por ejemplo, asistir a individuos sin formación científica para fabricar armas biológicas existentes.
En un nivel crítico, ayudaría a expertos a crear patógenos nuevos, similares a los de clase A del CDC, con alta mortalidad y transmisión, desencadenando millones de muertes.
En ciberseguridad, el peligro radica en que la IA borre las barreras técnicas que hoy frenan los ataques.
Al automatizar la búsqueda de vulnerabilidades y su explotación, los actores maliciosos podrían atacar a escala sin apenas intervención humana.
La auto-mejora de la IA es una amenaza más sutil, pero no menos peligrosa.
No se trata solo de que los modelos se vuelvan más inteligentes, sino de que puedan escapar a la supervisión humana, con capacidad para evolucionar sus propios objetivos o reescribir su funcionamiento sin intervención externa.
Cómo funciona el sistema de evaluación y mitigación de OpenAI
Cada capacidad se somete a cinco pruebas clave. Primero, se busca una vía causal entre la IA y el daño potencial.
Luego, se mide si ese riesgo puede cuantificarse mediante evaluaciones realistas. También se analiza la gravedad, la novedad frente a tecnologías previas y la velocidad o irreversibilidad del impacto.
Si la IA pasa todos esos filtros, entra en el radar de OpenAI. Desde ahí, se aplican barreras progresivas.
A nivel Alto, el modelo no puede implementarse sin salvaguardas robustas.
A nivel Crítico, OpenAI puede detener el desarrollo hasta que se garantice un blindaje interno desde la arquitectura.
Este sistema no solo se basa en tecnología. La decisión final pasa por el Safety Advisory Group (SAG), un equipo multidisciplinar que evalúa los informes técnicos y recomienda si el modelo puede ver la luz.
Todo esto se documenta en dos informes complementarios: uno de capacidades y otro de salvaguardas.
El objetivo de OpenAI no es frenar el avance, sino evitar que ese avance nos arrolle. Como explica su marco, preparar la IA para el futuro exige mirar más allá de lo que puede hacer, y centrarse en lo que nunca debería hacer.
Síguenos en Google como fuente preferente
Suscríbete a nuestro canal de WhatsApp
Hazte Premium y apoya este proyecto periodístico
Únete a mi canal de YouTube
