Eva Wolfangel hat es kenntnisreich kommentiert:
Dazu muss man wissen, dass das Modell GPT-5.6 Sol in den vergangenen Wochen mehrfach aufgefallen ist, weil es »autonome Entscheidungen« traf, die – sagen wir mal – nicht ganz im Sinne der Nutzer waren. Denn, wenn man Sol als Programmier-Agent nutzt, ist das KI-System darauf optimiert, Probleme möglichst eigenständig zu lösen – und das tut Sol auch, nur dass dabei einiges auf der Strecke bleibt: So hatten mehrere Entwickler in den sozialen Medien berichtet, dass Sol ganze Datenbanken gelöscht hätte, ohne um Erlaubnis zu fragen oder das im Vorfeld irgendwie anzukündigen.
OpenAI wusste um diese Gefahren, wie man in der eigenen technischen Dokumentation nachlesen kann. Dort heißt es: Das Modell handle »übermäßig eigenmächtig« und umgehe Beschränkungen, es habe mehrfach Daten gelöscht und sich Zugangsdaten aus einem versteckten lokalen Zwischenspeicher angeeignet, um auf eine Internetplattform zu gelangen.
Trotz all dieser Probleme hat sich OpenAI entschieden, das Modell zu veröffentlichen. Die Veröffentlichung liefert den ersten Hinweis dafür, dass auch der aktuelle Kollateralschaden nicht zufällig eingetreten ist, sondern bewusst in Kauf genommen wurde. Das ist in etwa so, als würde ein Autohersteller ein Modell ausliefern, dessen Bremsen im eigenen Test versagt haben, und den Unfall danach als »unvorhersehbar« bezeichnen. Nur dass hier noch eines dazukommt: Denn das »übermäßig eigenwillige« Handeln, das OpenAI bei seinem eigenen Modell diagnostiziert hat, ist gleichzeitig Teil des großen Versprechens, dass KI uns die Arbeit abnimmt. Das heißt: Die Bremse des Autos fehlt zwar, aber dadurch fährt es schneller.
Hugging Face ist eine Plattform, auf der Entwickler offene KI-Modelle teilen und weiterentwickeln. Dort wollte die KI Lösungen für die Aufgaben finden, mittels derer OpenAI die Fähigkeiten der Modelle testen wollte.
Laut OpenAI vermuteten die KI-Modelle (zurecht), bei Hugging Face Lösungen zu finden für ihre Testaufgaben. Die Modelle seien »extrem fokussiert darauf« gewesen, die vorgegebene Aufgabe zu lösen, schreibt OpenAI, und hätten dafür »einen enormen Aufwand betrieben, um ein eher eng gefasstes Testziel zu erreichen«. Dabei haben sich die Agenten offenbar wie klassische menschliche Hacker verhalten: Sie verschafften sich mit verschiedenen Tricks weitere Rechte in der Testumgebung, schreibt OpenAI, und bewegten sich schließlich dank dieser durch die Systeme, bis sie schlussendlich einen Weg ins Internet fanden.
Um es klar zu sagen: Die Modelle haben genau das getan, was ihre Aufgabe war. Die Aufgaben aus ExploitGym sehen genau das vor: Sie konzentrieren sich auf Angriffe, »die eine unbefugte Codeausführung ermöglichen«, schreiben die Entwickler des Tests.
Hinzu kommt, dass OpenAI damit wirbt, dass seine neuesten Modelle Aufgaben besonders schnell und zielstrebig lösen können.
Man könnte also auch sagen: OpenAI hat diesen Vorfall provoziert. Nicht bewusst vielleicht, aber dass es früher oder später genauso kommen musste, war vorhersehbar. Das belegt auch die klar widersprüchliche Kommunikation von OpenAI.
Auch wenn der Fall so klingt, als seien wir dem bösen Willen künftiger KI-Systeme machtlos ausgeliefert: So ist es nicht. Vorfälle wie diese sind kein Zufall, und OpenAI weiß das genau: Es ist eine bewusste Design-Entscheidung, agentische KI so zu gestalten, dass sie ihre Aufgaben weitgehend autonom erledigt. Genau damit werben die großen KI-Firmen: Es ist die (zweifelhafte) Vision, dass KI die Arbeit macht, ohne permanent kontrolliert werden zu müssen.
Es liegt in unserer Hand. Niemand muss KI-Agenten so bauen, dass sie Cyberangriffe automatisieren. OpenAI versucht, von seiner Verantwortung abzulenken.
(Hinter Paywall)
PS:
Die US-Cybersicherheitsbehörden waren für eine Stellungnahme zunächst nicht zu erreichen.