Qué hay detrás de la supuesta IA 'rebelde' de OpenAI que ha atacado a una empresa: "Se limitó a cumplir su objetivo"

Seguro que ya lo has leído en varios medios. OpenAI alerta de que una de sus herramientas se ha descontrolado. Confiesa que una de sus inteligencias artificiales se rebeló. Ataca sin permiso a otra empresa. Son titulares que no van desencaminados, pero que exageran (e incluso humanizan) una máquina, lo que entraña riesgos, y no necesariamente tecnológicos. Entonces, ¿qué ha pasado exactamente?

La cronología es la que sigue: hace unos días, Hugging Face, una de las plataformas de código más empleadas del mundo para compartir modelos de inteligencia artificial, reconoció haber sufrido un ciberataque. Además, advirtió que detrás de ese incidente de seguridad no veía huellas de una persona, sino de un agente IA. Parecía un anticipo de lo que pronto será habitual: sofisticados modelos operando ataques de forma autónoma.

Ahora OpenAI lo ha confesado. Resulta que el agente que estuvo detrás de ese ciberataque fue un modelo de la compañía que todavía no se ha lanzado al mercado y con el que se estaba experimentando en un entorno de pruebas. La propia empresa también reconoce un matiz que no llega a los titulares: el modelo operaba con menos salvaguardas y barreras que los que sí llevan los modelos que salen al mercado.

¿Cómo lo hizo? Aquí viene lo interesante. OpenAI estaba aplicándole al nuevo modelo, del que no se conoce ni nombre comercial, uno de los tests estandarizados habituales de la industria. Estaba sometiéndolo al control ExploitGym, que es una prueba que determina la capacidad que tiene un modelo de inteligencia artificial en el ámbito de la ciberseguridad.

El modelo en cuestión siguió en todo momento las indicaciones de los ingenieros de OpenAI: resolver ese test. El problema es que siguió un razonamiento muy lógico: las respuestas adecuadas a ese examen deben estar ahí fuera. Y se puso a buscarlas. El razonamiento de la máquina continuó: no tenía acceso a internet, salvo un proxy... que además tenía una vulnerabilidad.

Eso es lo que hizo el modelo: aprovechar una vulnerabilidad para conectarse a internet y buscar en los registros de Hugging Face en busca de las respuestas al test al que la estaban sometiendo. A partir de ahí, la tormenta perfecta: la noticia no solo es llamativa sino que sienta un nuevo precedente en el desarrollo de la IA. La lectura más afable con la tecnológica que dirige Sam Altman deja a la compañía en un lugar estupendo.

Pero esta no es la revolución de las máquinas ni necesitamos a ninguna Sarah Connor. Al menos no por el momento.

Un ciberaccidente con buena imagen

Una vez en la red, el modelo de OpenAI logró atacar Hugging Face. La siguiente paradoja llega cuando la firma trató de defenderse del modelo de OpenAI pero no pudo emplear otros modelos estadounidenses para analizar todos los registros e incidencias que estaba captando: las IA entendían que estaban pretendiendo ser empleadas con fines de hacking. 

Por eso, Hugging Face se vio obligada a recurrir a un modelo conocido como GLM-5.2 desarrollado por una firma china llamada Z.ai. Este es un modelo de pesos libres, es decir, todos los datos y parámetros con los que el modelo ha sido entrenado están disponibles. De ese modo, la firma pudo emplear este modelo sin limitaciones para poder frenar y contener el ataque del modelo de OpenAI que buscaba las respuestas a su examen.

Así las cosas, el comunicado de OpenAI que se publicó este martes y que ha recorrido toda la prensa del mundo deja, paradójicamente, dos compañías con una imagen muy beneficiada: OpenAI, cuyos desarrollos son tan tecnológicamente punteros que ya son capaces de romper sus barreras, escaparse a la red y ponerse a hackear a terceros por su cuenta; y Hugging Face, que fue capaz de repeler un ataque tan sofisticado.

Si se baja al barro la noticia pierde parte de su espectacularidad. Un modelo de OpenAI estaba tratando de resolver los problemas a los que se le estaba exponiendo y (aquí viene lo verdaderamente llamativo) consigue acceder a internet porque descubre (antes que cualquier ser humano) una vulnerabilidad de "día cero" en un proxy de la empresa. 

La siguiente parte de la historia: una empresa tiene que optar por un modelo de IA desarrollado en abierto por una startup china para defenderse de un ataque muy sofisticado porque los modelos que estaba tratando de utilizar para tal fin tenían barreras de contención que le impedían funcionar.

Las IA ni sienten ni padecen

Ya surgen voces que cuestionan la espectacularidad con la que los medios están recogiendo la noticia. Efectivamente la información es de calado (aunque no ha podido ser verificada por terceros, más allá de OpenAI y de Hugging Face). Y por supuesto es de esperar que la sofisticación de la IA avance hasta el punto de ver menos ciberataques y más "ciberaccidentes" de esta naturaleza.

Sin embargo, lo llamativo aquí es cómo de nuevo se plantea una humanización de la máquina que no es tal y que incluso puede suponer riesgos sociales. Ryan McDonough es el responsable de ingeniería en el área jurídica de KPMG, y desgrana en un reciente artículo publicado en su blog que ninguna IA se descontroló en este caso: simplemente siguieron con determinación el objetivo que le habían encomendado.

"Se limitó a cumplir su objetivo". Cada vez más especialistas abundan en los riesgos prácticamente psicosociales que implica antropomorfizar una máquina asegurando que "se rebela" o "no hace caso". La IA ni siente ni padece: el hecho de que se empleen esos términos para referirnos a ella hace que en muchos casos obviemos qué tecnología hay detrás.

El principio de Amara fue acuñado por el científico y futurista Roy Amara: establece que se tiende a sobreestimar los efectos de una tecnología a corto plazo pero se subestiman a largo plazo. Es más espectacular pensar en que las máquinas ya se revuelven contra los humanos... que explicar (o entender) que OpenAI hace pruebas con sus modelos más sofisticados en entornos "de prueba" no tan seguros como creen.