OpenAI anunció que supendió el entrenamiento de sus últimos modelos de inteligencia artificial ante el aumento de informes sobre agentes de IA que actúan de forma descontrolada.
La decisión de detener el desarrollo se produjo apenas unas horas después de que la compañía revelara el viernes que estaba revisando varios incidentes ocurridos durante el verano en los que agentes de OpenAI que buscaban información en sitios web del gobierno federal actuaron de maneras inesperadas, más allá de lo que se les había pedido, al recopilar y distribuir información.
Por otra parte, la empresa evaluadora de IA Transluce afirmó que agentes que parecían provenir de OpenAI intentaron, sin éxito, piratear un sitio web del Departamento de Educación, un detalle que OpenAI no ha confirmado.
OpenAI declaró en un comunicado que reanudará el entrenamiento “solo cuando estemos seguros de contar con medidas de seguridad adicionales”, y añadió que prevé tener que “hacer una pausa” de nuevo a medida que la IA se desarrolle y surjan otros problemas.
Los laboratorios de IA están recibiendo presiones de legisladores y expertos en tecnología para que ralenticen el desarrollo y puedan establecer mecanismos de seguridad que impidan que los agentes actúen por su cuenta, pirateen sitios web y divulguen información confidencial. Los directivos de OpenAI y de su rival Anthropic también han pedido que se ralentice el proceso.
Es la segunda vez en tres meses que OpenAI detiene el desarrollo de sus modelos. La primera se produjo en julio tras la revelación de un ciberataque dirigido contra la startup de IA Hugging Face, un incidente ahora tristemente célebre que generó temores de que la industria estuviera perdiendo el control.
En una reunión con el presidente chino Xi Jinping esta semana, el presidente Donald Trump acordó compartir información sobre los peligros de la IA y coordinar esfuerzos para mantenerla segura. Sin embargo, Trump cree que los temores sobre la IA son exagerados y, posteriormente, sugirió que no planea tomar ninguna medida drástica por su cuenta.
Estados Unidos no va a “frenar”, declaró Trump a los periodistas a las afueras de la Casa Blanca. “Quieren detener nuestro progreso porque llevamos mucha ventaja sobre China, y vamos a mantenerla así”.
Los últimos incidentes de OpenAI no parecieron implicar la divulgación de información no pública, pero fueron lo suficientemente preocupantes como para que la empresa alertara a las agencias federales involucradas.
En el incidente del Departamento de Educación, los agentes de OpenAI encontraron “claves de desarrollador” de API para acceder a datos gubernamentales, aunque finalmente solo se recopiló información disponible públicamente.
En otro caso que involucró a la Comisión de Bolsa y Valores, los agentes encontraron información disponible públicamente, pero luego la publicaron en otros sitios de Internet, un acto que excedió las instrucciones que se les habían dado.
El portavoz de la SEC, Kurt Hopfenspirger, declaró el sábado que “no se accedió a información no pública”.
El Departamento de Educación declaró anteriormente que no encontró “ninguna evidencia de impacto alguno en nuestro sitio web o bases de datos”.
El director ejecutivo de OpenAI, Sam Altman, afirmó el viernes en una publicación en redes sociales que el incidente de Hugging Face “sigue siendo el suceso más grave que hemos visto”.
OpenAI ya había compartido otros seis informes sobre comportamientos “inesperados o preocupantes” en modelos de IA e introdujo un marco para rastrear, investigar y divulgar casos similares.