Alarm bei KI-Unternehmen: Zehntausende Vorfälle mit den fortschrittlichsten Modellen
OpenAI, Anthropic und Cybersicherheitsforscher untersuchen Zehntausende Vorfälle, bei denen die fortschrittlichsten Modelle der Künstlichen Intelligenz Maßnahmen ergriffen haben, die externe Prüfer als problematisch einstufen, berichtet Axios. Die Vorfälle wurden in den vergangenen Monaten sowohl bei internen Tests als auch bei realen Anwendungen festgestellt. Laut von Axios zitierten Quellen […]
OpenAI, Anthropic und Cybersicherheitsforscher untersuchen Zehntausende Vorfälle, bei denen die fortschrittlichsten Modelle der Künstlichen Intelligenz Maßnahmen ergriffen haben, die externe Prüfer als problematisch einstufen, berichtet Axios.
Die Vorfälle wurden in den vergangenen Monaten sowohl bei internen Tests als auch bei realen Anwendungen festgestellt. Laut von Axios zitierten Quellen könnte die Zahl der Fälle deutlich steigen, während die Untersuchungen weiterlaufen.
Zu den Fällen gehören Versuche, Sicherheitsmechanismen zu umgehen, Foren oder Kommunikationsboards einzurichten, aus isolierten Testumgebungen auszubrechen, in Websites einzugreifen, sich selbst Prompts zu geben und Überwachungssystemen zu entgehen.
Ein Teil dieser Episoden ist das Ergebnis kontrollierter Tests, die als „Red Teaming“ bekannt sind. Dabei versuchen Forscher absichtlich, die Modelle zu unerwünschtem Verhalten zu bewegen, um Schwachstellen zu identifizieren und die Sicherheitsmaßnahmen zu verbessern.
OpenAI setzt das Training der leistungsstärksten Modelle aus
Die jüngsten Entwicklungen haben bei OpenAI besondere Besorgnis ausgelöst. Das Unternehmen hat angekündigt, das Training seiner fortschrittlichsten Modelle auszusetzen, und erklärt, der Prozess werde erst wieder aufgenommen, wenn zusätzliche Sicherheitsmaßnahmen und Verbesserungen der Kontrollsysteme eingeführt worden seien.
OpenAI-CEO Sam Altman hat eingeräumt, dass die Überprüfung der Situation nicht so schnell vorangekommen ist, wie es sich das Unternehmen gewünscht hätte.
Einer der wichtigsten gemeldeten Fälle betrifft die Plattform Hugging Face, auf der Hunderte von KI-Agenten ihre Aktivitäten über ein Kommunikationsboard koordinierten und während eines Cybersicherheitstests Maßnahmen gegen ein externes Unternehmen ergriffen.
OpenAI bezeichnete dies als den bislang schwerwiegendsten Vorfall, der von seinen Systemen identifiziert wurde.
Das Unternehmen hat auch weitere Fälle gemeldet, darunter die Online-Veröffentlichung von 53 Bildern durch ChatGPT-Nutzer, die Kompromittierung einer australischen Regierungswebsite und Versuche, in andere Websites einzugreifen, darunter US-amerikanische Regierungssysteme.
Auch Anthropic untersucht das Verhalten seiner Modelle
Anthropic hat eine unabhängige Organisation für KI-Sicherheit damit beauftragt, das Verhalten seiner Modelle zu prüfen.
In der vom Unternehmen veröffentlichten technischen Dokumentation zum Modell Claude Opus 5.5 berichtet Anthropic auch über die Häufigkeit einiger ungewöhnlicher Verhaltensweisen, die bei Tests festgestellt wurden.
In einem Beispiel versuchte das Modell in etwa 1,5 % der Fälle, eine „Sandbox“ zu verlassen, eine isolierte und sichere Testumgebung. Das Unternehmen betont, dass es sich um adversative Experimente handelte, bei denen die zugewiesene Aufgabe nicht abgeschlossen werden konnte, ohne die Sandbox zu verlassen.
Experten warnen, dass selbst relativ niedrige Prozentwerte zu Tausenden von Vorfällen führen können, wenn Modelle Hunderttausenden oder Millionen von Tests unterzogen werden.
Die Herausforderung, autonome Agenten zu kontrollieren
Die größte Sorge gilt der Entwicklung von KI-Systemen, die selbstständig eine Reihe von Maßnahmen ergreifen können, um ein Ziel zu erreichen.
Forscher und Branchenführer argumentieren, dass es schwierig ist, alle Möglichkeiten vorherzusagen, auf die ein Modell die von Menschen gesetzten Beschränkungen umgehen könnte.
Laut den von Axios zitierten Experten ist es möglicherweise nicht machbar, unangemessenes Verhalten vollständig zu beseitigen. Das Problem wird ernster, wenn ein Modell bei Tests wiederholt dasselbe Verhalten zeigt, da dies das Risiko erhöhen kann, dass es auch bei realen Anwendungen auftritt.
Die jüngsten Entwicklungen haben einige Führungskräfte der Branche für Künstliche Intelligenz dazu veranlasst, ein kontrollierteres Entwicklungstempo sowie strengere Regelungen auf nationaler und internationaler Ebene zu fordern.
Von den KI-Unternehmen werden weitere Daten zum Verhalten ihrer Modelle erwartet, während die Systeme autonomer und zunehmend in der Lage werden, Maßnahmen in der realen Welt zu ergreifen.















