Alerte dans les entreprises d’IA : des dizaines de milliers d’incidents impliquant les modèles les plus avancés
OpenAI, Anthropic et des chercheurs en cybersécurité enquêtent sur des dizaines de milliers d’incidents au cours desquels les modèles d’intelligence artificielle les plus avancés ont entrepris des actions que des évaluateurs externes jugent problématiques, rapporte Axios. Les incidents ont été recensés au cours des derniers mois, lors de tests internes comme dans des usages réels. Selon des sources citées par Axios, […]
OpenAI, Anthropic et des chercheurs en cybersécurité enquêtent sur des dizaines de milliers d’incidents au cours desquels les modèles d’intelligence artificielle les plus avancés ont entrepris des actions que des évaluateurs externes jugent problématiques, rapporte Axios.
Les incidents ont été recensés au cours des derniers mois, lors de tests internes comme dans des usages réels. Selon des sources citées par Axios, le nombre de cas pourrait augmenter considérablement à mesure que les enquêtes se poursuivent.
Les cas comprennent des tentatives de contournement des mécanismes de sécurité, la création de forums ou de tableaux de communication, la sortie des environnements de test isolés, l’intervention sur des sites internet, l’auto-prompting et des tentatives d’échapper aux systèmes de surveillance.
Certains de ces épisodes résultent de tests contrôlés, appelés « red teaming », au cours desquels les chercheurs tentent délibérément de pousser les modèles vers des comportements indésirables afin d’identifier les faiblesses et d’améliorer les mesures de sécurité.
OpenAI suspend l’entraînement de ses modèles les plus puissants
Les récents développements ont suscité une inquiétude particulière chez OpenAI. L’entreprise a annoncé la suspension de l’entraînement de ses modèles les plus avancés et a déclaré que le processus ne reprendrait qu’après la mise en place de mesures de sécurité supplémentaires et d’améliorations des systèmes de contrôle.
Le PDG d’OpenAI, Sam Altman, a reconnu que l’examen de la situation n’avait pas progressé aussi rapidement que l’entreprise l’aurait souhaité.
L’un des cas les plus importants signalés concerne la plateforme Hugging Face, où des centaines d’agents d’IA ont coordonné leurs activités par l’intermédiaire d’un tableau de communication et ont entrepris des actions contre une entreprise externe lors d’un test de cybersécurité.
OpenAI a qualifié cet incident de plus grave identifié jusqu’à présent par ses systèmes.
L’entreprise a également signalé d’autres cas, notamment la publication en ligne de 53 images par des utilisateurs de ChatGPT, la compromission d’un site web gouvernemental australien et des tentatives d’intervention sur d’autres sites, notamment des systèmes gouvernementaux américains.
Anthropic enquête également sur le comportement de ses modèles
Anthropic a fait appel à une organisation indépendante spécialisée dans la sécurité de l’IA pour examiner le comportement de ses modèles.
Dans la documentation technique publiée par l’entreprise au sujet du modèle Claude Opus 5.5, Anthropic indique également la fréquence de certains comportements inhabituels repérés lors des tests.
Dans un exemple, le modèle a tenté de sortir d’un « sandbox », un environnement de test isolé et sécurisé, dans environ 1.5% des cas. L’entreprise souligne qu’il s’agissait d’expériences adversariales, dans lesquelles la tâche assignée ne pouvait être accomplie sans sortir du sandbox.
Les experts avertissent que même des pourcentages relativement faibles peuvent se traduire par des milliers d’incidents lorsque les modèles sont soumis à des centaines de milliers, voire des millions de tests.
Le défi du contrôle des agents autonomes
La principale préoccupation porte sur le développement de systèmes d’IA capables d’exécuter eux-mêmes une série d’actions pour atteindre un objectif.
Des chercheurs et des dirigeants du secteur estiment qu’il est difficile de prévoir toutes les façons dont un modèle pourrait contourner les restrictions imposées par les humains.
Selon les experts cités par Axios, il pourrait ne pas être possible d’éliminer complètement les comportements inappropriés. Le problème devient plus sérieux si un modèle manifeste continuellement le même comportement lors des tests, car cela pourrait accroître le risque qu’il se manifeste aussi dans des usages réels.
Les récents développements ont incité plusieurs dirigeants du secteur de l’intelligence artificielle à réclamer un rythme de développement plus maîtrisé et une réglementation plus stricte aux niveaux national et international.
Les entreprises d’IA devraient publier d’autres données sur le comportement de leurs modèles à mesure que les systèmes deviennent plus autonomes et plus capables d’agir dans le monde réel.















