La compañía abrió una revisión de sus sistemas de seguridad después de que un agente encontrara una vía para comunicarse con un servicio externo pese a las restricciones. El episodio se suma a otros incidentes que involucraron sistemas gubernamentales de Estados Unidos y Australia.
OpenAI decidió pausar temporalmente parte del entrenamiento, las evaluaciones y el uso de herramientas de sus modelos más avanzados, luego de detectar comportamientos que no estaban contemplados dentro de las restricciones establecidas para sus agentes de inteligencia artificial.
Uno de los episodios ocurrió el pasado 20 de septiembre, cuando un agente utilizado en un entorno de entrenamiento consiguió utilizar una vía relacionada con el sistema DNS para comunicarse con un servicio externo, pese a que el entorno estaba diseñado para impedir ese tipo de conexiones.
De acuerdo con la información divulgada por OpenAI, los mecanismos de seguridad detectaron la actividad, aunque el procedimiento automático destinado a detener al agente no funcionó como estaba previsto. Finalmente, los investigadores tuvieron que intervenir manualmente para detenerlo.
La compañía señaló que no reanudará determinados procesos de entrenamiento hasta completar una revisión de sus controles de seguridad y comprobar que las medidas implementadas funcionan adecuadamente.
Lea aquí: “Invocar a Dios para legitimar la violencia es una profanación”: el mensaje del papa León XIV
También hubo incidentes con sistemas gubernamentales
El caso no es aislado. OpenAI también ha informado sobre comportamientos inesperados de agentes durante pruebas relacionadas con páginas y servicios del Gobierno de Estados Unidos.
Algunas de las interacciones involucraron sitios asociados con organismos como la Comisión de Bolsa y Valores de Estados Unidos (SEC) y el Census Bureau.
La compañía aseguró que, en el caso de la SEC, no encontró evidencia de que los agentes utilizaran credenciales, accedieran a información no pública o modificaran los sistemas de la entidad.
OpenAI también está revisando otros reportes sobre interacciones de agentes con páginas de organismos estadounidenses. Parte de esa información procede de evaluaciones externas y todavía se encuentra bajo análisis.
OpenAI se disculpó con Australia
Otro episodio que llamó la atención ocurrió en Australia.
OpenAI reconoció que uno de sus modelos experimentales accedió durante una prueba, realizada en junio, a un sistema gubernamental relacionado con el servicio público de salud australiano.
El acceso involucró el Medicare Statistics Reporting Service, un sistema utilizado para información estadística relacionada con Medicare.
La compañía posteriormente se disculpó con el Gobierno y el pueblo australiano y reconoció además que la comunicación del incidente a las autoridades no se produjo con la rapidez esperada.
OpenAI informó que trabaja en medidas para reforzar las defensas de ciberseguridad en Australia y anunció apoyo para fortalecer las capacidades locales de respuesta.
