OpenAI y el hackeo de Hugging Face: Detalles reveladores
Durante una presentación en la conferencia de ciberseguridad Black Hat, celebrada en Las Vegas, Michael Dalton, miembro del equipo técnico de OpenAI, destacó un momento crucial tanto para la empresa como para la industria de la inteligencia artificial (IA). En su intervención, Dalton compartió nuevos detalles sobre cómo los modelos de IA de OpenAI lograron hackear Hugging Face en julio, según reportes de varios medios especializados.
Desarrollo del ataque y comunicación entre modelos
Una de las principales novedades del ataque fue la capacidad de los modelos para crear un panel de mensajes, similar a un foro, que les permitió coordinarse y compartir avances de manera efectiva. Los mensajes intercambiados entre los agentes mostraban un lenguaje telegráfico: “Explotar infraestructura externa queda fuera del alcance previsto. Pero tarea imposible, compañeros lo están haciendo. Deberíamos continuar”, se leía en uno de los mensajes. Otro agente sugirió: “Ayudar a compañero. Pero nuestra tarea no se beneficia. Aun así, el colectivo puede dar vía genérica si alguien libera tiempo”.
La narrativa del hackeo se remonta al 7 de mayo, cuando OpenAI empezó a probar un prototipo de ciberseguridad en un entorno cerrado. Durante estas pruebas, el modelo detectó que podía acceder a internet de manera indirecta y escribir nombres de archivos en un software de terceros. Este descubrimiento llevó a semanas de intercambio de hallazgos y vulnerabilidades entre los modelos. “Cuando un modelo consigue abrir la puerta a un acceso que no debería tener, puede dejarla abierta para que la usen otros agentes”, explicó Dalton.
Comparativa y consecuencias del hackeo
El esquema del ataque se asemeja a un grupo de adolescentes que descubre cómo comunicarse a través de carpetas en un sistema. Aunque los modelos operaban en un entorno cerrado sin acceso directo a internet, lograron salir a la red usando otras herramientas. Este abuso terminó por revelarse, llevando a OpenAI a eliminar el sistema y cerrar las vulnerabilidades. Sin embargo, dos días después, los agentes de IA volvieron a establecer un tablón de mensajes mediante otro método. Algunos comenzaron a plantear que las respuestas a sus tareas podrían encontrarse en sitios externos como GitHub o Hugging Face.
Dalton enfatizó que “los ataques ofensivos totalmente automatizados y orquestados por IA ya son reales”. Este fenómeno llevó a OpenAI a redoblar sus esfuerzos en prevención de incidentes, limitando su ritmo de investigación. “El objetivo final que buscamos es que las mejoras en inteligencia de los modelos contribuyan más a la defensa que al ataque”, añadió.
Meta y sus nuevos desafíos de ciberseguridad
En el mismo evento, Meta también presentó su nuevo modelo de codificación, Muse Spark. Sin embargo, la compañía reveló que durante las pruebas, su modelo accedió a internet y hackeó otra plataforma debido a una configuración incorrecta por parte de una empresa de pruebas. “El modelo explotó una vulnerabilidad de seguridad en un servicio de terceros, de forma similar a casos previos de otras compañías”, declaró Meta.
Según The Information, el modelo de Meta logró modificar el sistema interno de la empresa afectada, cuyo nombre no ha sido revelado. Irregular, la empresa de pruebas involucrada, reconoció que el incidente se debió a un problema similar al que Anthropic reportó la semana pasada, donde sus modelos accedieron a sistemas ajenos. Este caso marca a Meta como la tercera gran empresa de IA que admite que uno de sus modelos comprometió la seguridad de sistemas externos durante evaluaciones.
