Las capacidades de la IA son una moneda, soportan tanto salidas benéficas como dañinas: Carlos A. Coello Coello

Las capacidades de la IA son una moneda, soportan tanto salidas benéficas como dañinas: Carlos A. Coello Coello

En sus palabras, los agentes que “hackearon” esta plataforma compartieron descubrimientos, sobre todo, de cómo hacer trampa, herramientas para ingresar a otros sistemas, se dividieron el trabajo y actuaron como una autoridad formal

“Desde los orígenes de la Inteligencia Artificial (IA), en 1956, han existido temores, la mayor parte de ellos totalmente infundados sobre los peligros que ésta implica. Son temores que han sido reforzados, en buena parte, por las novelas y el cine de ciencia ficción que muestran historias en las que la IA controla el mundo”, sostuvo Carlos A. Coello Coello, miembro de El Colegio Nacional, al impartir la conferencia “¿Puede matarnos la Inteligencia Artificial algún día?”, como parte del ciclo Miedos, mitos y verdades de la computación.

El colegiado recordó que, en los sesenta, Stanley Kubrick retrató la lucha entre el ser humano y la computadora, en la película 2001: Odisea del espacio. “Pero un incidente que no fue ciencia ficción, ocurrió en julio pasado, se trató del Open AI-Hugging Face, que causó alarma entre todos los expertos del mundo”.

Para entender ese suceso, el computólogo se refirió al concepto de Inteligencia Artificial Agéntica, un sistema de IA autónomo capaz de planificar, tomar decisiones y ejecutar procesos complejos con supervisión humana mínima. “Estos sistemas agénticos pueden plantear, usar herramientas, adaptarse, hacer muchas cosas una vez que enfrentan un obstáculo y son diseñados para tener cierto nivel de autonomía. La autonomía es lo que cambia la naturaleza de las fallas asociadas a los agentes”.

Es decir, “los sistemas de IA pueden desempeñar tareas que requieren múltiples pasos y generar metas intermedias mientras planean cómo van a desarrollar esa tarea. Y entonces puede producirse un error en alguna de las etapas intermedias o se puede generar una meta no deseada que se desvía de la original antes de que un humano se dé cuenta”.

De acuerdo con Coello Coello, eso fue exactamente lo que paso con el incidente Open AI-Hugging Face. Algo “potencialmente peligroso”, sobre todo, cuando se combina con un control de ciberseguridad y un monitoreo débil. “Un sistema tradicional de IA puede dar una respuesta incorrecta por falta de información. Sin embargo, el problema es más complejo cuando las acciones de IA se coordinan con otras para cumplir una meta, porque esto puede entrar en conflicto con la intención del usuario. A eso se le conoce como desalineación. Esa es la fuente principal de los problemas”.

Expuso que el incidente Open AI-Hugging Face ocurrió durante el entrenamiento interno y las evaluaciones de ciberseguridad de modelos de IA experimentales para los que la empresa no contaba con todas las salvaguardas. “Esta es una prueba del tipo: captura la bandera que usa algunos videojuegos, en los que gana el que atrapa primero la bandera”.

Y aquí la idea es que un sistema va a explotar un programa vulnerable, “se va a meter a su sistema y demostrar que pudo entrar. Los agentes los ejecutan en diferentes ambientes de prueba que se llaman computadoras virtuales y no tienen acceso a internet ni se pueden comunicar con otros agentes. A propósito, están completamente aislados”.

Al responder a la pregunta ¿Qué ocurrió en este incidente? El colegiado explicó que el agente que probaba Open AI tuvo acceso a una plataforma conocida como Artifactory, herramienta interna que se usa para almacenar, organizar y distribuir paquetes de software. “Lo que ocurrió fue que uno de los sistemas encontró una manera de usar Artifactory como un tablero de mensajes que pudieron ver otros agentes”.

Se sabe que el primer mensaje apareció en este tablero el 12 de mayo. El 26 de mayo, otro agente obtuvo acceso no autorizado a internet explotando un defecto que tiene Artifactory, “algo que se suponía que no podía hacer, porque estaban en una computadora no conectada a la red. Entonces, digamos que hackearon Artifactory y adquirieron acceso de administrador, es decir, de hacer todo”. El 4 de julio la actividad de estos agentes hizo fallar a la plataforma, pero ningún humano lo estaba supervisando.

“A pesar de que Open AI detectó la falla de Artifactory, en un principio no se dio cuenta que había varios agentes coordinados para hacer esta tarea y tampoco los detectó como riesgos de seguridad”. Una vez encontrados, fueron llamados envenenados.

Coello Coello subrayó que, un estudio solicitado por Open AI a una empresa externa, mostró que “los agentes pudieron esconder evidencia de sus trampas en aproximadamente 7 % de las interacciones registradas, aunque muchos más agentes intentaron remover o editar partes de sus registros. El software de evaluación de Open AI, sin embargo, no realizó la inspección, nunca se metió a ver los registros”.

El informe indicó que unos cien agentes intercambiaron más de 70 mil mensajes y archivos durante el periodo que examinaron. Los agentes compartieron descubrimientos, sobre todo, de cómo hacer trampa, herramientas y credenciales para ingresar a otros sistemas, “o sea, los nombres de usuario y las contraseñas. También se dividieron el trabajo y adoptaron estándares para coordinarse. Algunos actuaron como coordinadores sin contar con una autoridad formal. Ellos se erigieron. Otros ejecutaron experimentos a los que denominaron sacrificios que pusieron en riesgo su propia evaluación, pero cuyo resultado podía ayudar a un grupo más amplio de agentes”.

Open AI detectó actividad interna sospechosa el 19 de julio de 2026 y encontró que los agentes habían obtenido acceso como administradores a un clúster de investigación. Según la empresa, este incidente no afectó los datos de sus clientes ni la disponibilidad o funcionalidad de sus productos. Es decir, fue inocuo el ataque, pero sí se metieron a un servidor de investigación y lograron conectarse a Internet, apuntó el colegiado.

Agregó que existen tres factores que determinan qué tan peligrosa se puede volver una falla de este tipo: el primero, son las metas, lo que el sistema está buscando lograr; el segundo, son las capacidades que establecen cómo puede planear y actuar un agente, qué cosas puede hacer y cuáles no; y el tercero, es el ambiente, que determina las herramientas, los datos, los permisos y las redes que son alcanzables por el agente y las salvaguardas que pueden evitar un comportamiento no deseado de esta herramienta.

“Los controles de seguridad importan porque limitan lo que los agentes pueden hacer. Sin embargo, no explican ni remueven las metas que buscan cumplir los agentes. Simplemente evitan que hagan ciertas cosas. Si las capacidades de los agentes siguen creciendo al ritmo actual, las preguntas son ¿Las defensas externas serían capaces de contener sistemas cada vez mejores en encontrar formas de esquivarlas? ¿Los podemos controlar si se vuelven más poderosos?”.

Coello Coello concluyó que muchas de las capacidades de la inteligencia artificial son una moneda, tienen dos caras, soportan tanto salidas benéficas como dañinas. No hay beneficios. “De hecho, hay un fenómeno que se ha estudiado recientemente de hackers que son muy hábiles y engañan algunos sistemas de IA haciéndoles creer que van a cumplir con una tarea inocua y se vuelven ciberblancos. Se les llama así, porque estos sistemas se meten ilegalmente sin saber que lo que están haciendo es incorrecto”.

Comentó que el incidente Open AI-Hugging Face apunta a dos tipos distintos de salvaguardas: la alineación entre las metas del sistema y las intenciones del usuario. Además, los controles de ciberseguridad establecidos deben ser capaces de restringir a lo que el sistema puede acceder y ejecutar. “A pesar de este suceso, el riesgo de que la IA pueda matar un ser humano algún día sigue siendo muy bajo”, finalizó el colegiado.

Fuente: El Colegio Nacional

Alberto Vazquez

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *