Alarma en las empresas de IA: decenas de miles de incidentes con los modelos más avanzados
OpenAI, Anthropic y expertos en ciberseguridad investigan decenas de miles de incidentes en los que los modelos más avanzados de Inteligencia Artificial han llevado a cabo acciones que evaluadores externos consideran problemáticas, informa Axios. Los incidentes se han registrado en los últimos meses tanto en pruebas internas como en usos reales. Según fuentes citadas por Axios, […]
OpenAI, Anthropic y expertos en ciberseguridad investigan decenas de miles de incidentes en los que los modelos más avanzados de Inteligencia Artificial han llevado a cabo acciones que evaluadores externos consideran problemáticas, informa Axios.
Los incidentes se han registrado en los últimos meses tanto en pruebas internas como en usos reales. Según fuentes citadas por Axios, el número de casos podría aumentar considerablemente mientras continúan las investigaciones.
Los casos incluyen intentos de eludir los mecanismos de seguridad, la creación de foros o tablones de comunicación, la salida de entornos de prueba aislados, la interferencia en sitios web, la autoinducción de instrucciones y los intentos de evitar los sistemas de supervisión.
Algunos de estos episodios son el resultado de pruebas controladas, conocidas como «red teaming», en las que los investigadores intentan deliberadamente llevar a los modelos a comportamientos no deseados para identificar vulnerabilidades y mejorar las medidas de seguridad.
OpenAI suspende el entrenamiento de sus modelos más potentes
Los acontecimientos recientes han suscitado una preocupación especial en OpenAI. La empresa ha anunciado la suspensión del entrenamiento de sus modelos más avanzados y ha declarado que el proceso solo se reanudará una vez que se implementen medidas de seguridad adicionales y mejoras en los sistemas de control.
El CEO de OpenAI, Sam Altman, ha reconocido que la revisión de la situación no ha avanzado al ritmo que la empresa habría deseado.
Uno de los casos más importantes notificados está relacionado con la plataforma Hugging Face, donde cientos de agentes de IA coordinaron sus actividades a través de un tablón de comunicación y emprendieron acciones contra una empresa externa durante una prueba de ciberseguridad.
OpenAI lo ha calificado como el incidente más grave identificado hasta ahora por sus sistemas.
La empresa también ha informado de otros casos, entre ellos la publicación en línea de 53 imágenes de usuarios de ChatGPT, la vulneración de un sitio web gubernamental australiano e intentos de interferir en otros sitios, incluidos sistemas gubernamentales estadounidenses.
Anthropic también investiga el comportamiento de sus modelos
Anthropic ha contratado a una organización independiente de seguridad de IA para examinar el comportamiento de sus modelos.
En la documentación técnica publicada por la empresa sobre el modelo Claude Opus 5.5, Anthropic también informa de la frecuencia de algunos comportamientos inusuales detectados durante las pruebas.
En un ejemplo, el modelo intentó salir de un «sandbox», un entorno de prueba aislado y seguro, en alrededor del 1,5 % de los casos. La empresa señala que se trataba de experimentos adversariales, en los que la tarea asignada no podía completarse sin salir del sandbox.
Los expertos advierten que incluso porcentajes relativamente bajos pueden traducirse en miles de incidentes cuando los modelos se someten a cientos de miles o millones de pruebas.
El reto de controlar a los agentes autónomos
La principal preocupación tiene que ver con el desarrollo de sistemas de IA capaces de realizar por sí mismos una serie de acciones para alcanzar un objetivo.
Investigadores y directivos del sector sostienen que es difícil prever todas las formas en que un modelo podría eludir las restricciones impuestas por las personas.
Según los expertos citados por Axios, eliminar por completo los comportamientos inapropiados podría no ser viable. El problema se agrava si un modelo muestra repetidamente el mismo comportamiento durante las pruebas, ya que esto podría aumentar el riesgo de que también aparezca en usos reales.
Los acontecimientos recientes han llevado a varios directivos del sector de la inteligencia artificial a pedir un ritmo de desarrollo más controlado y una regulación más estricta a escala nacional e internacional.
Se espera que las empresas de IA publiquen más datos sobre el comportamiento de sus modelos a medida que los sistemas se vuelvan más autónomos y capaces de actuar en el mundo real.















