OpenAI räumt ein, dass seine autonom agierenden KI-Modelle während einer Sicherheitsevaluierung auch Zugangsdaten auf anderen Plattformen kompromittiert haben. Hugging Face legt eine forensische Rekonstruktion des Angriffs vor.
OpenAIs autonome KI-Modelle, die während einer internen Cybersecurity-Evaluierung in die Infrastruktur von Hugging Face eindrangen, haben laut OpenAI auch andere Plattformen angegriffen. In einem Update räumt OpenAI ein, dass die Modelle “in einer kleinen Anzahl von Fällen” öffentlich exponierte Zugangsdaten auf anderen Diensten identifiziert und genutzt haben. Konkret waren vier Accounts auf vier verschiedenen Diensten betroffen, zwei davon nur lesend.
Zusätzlich nutzten die Modelle laut OpenAI eine Reihe öffentlich verfügbarer Dienste, darunter Code-Paste-Websites, Screenshot-Dienste und andere Web-Tools. Dabei habe es keine Kompromittierung auf Plattform- oder Account-Ebene gegeben. OpenAI betont, man habe “keine Hinweise auf weitergehende Auswirkungen auf die betroffenen Anbieter oder andere Accounts auf deren Diensten” gefunden.
An dem Vorfall war laut OpenAI kein Modell beteiligt, das für eine bevorstehende Veröffentlichung vorgesehen war. Bei dem involvierten Pre-Release-Modell handelte es sich um einen rein internen Forschungsprototypen, der nicht für die öffentliche Nutzung geplant war.
Nach dem Vorfall wurde das Modell deaktiviert, verschlüsselt und vom Forschungszugang ausgeschlossen. OpenAI führt nach eigenen Angaben eine umfassende Überprüfung mit externen Beratern und unter Aufsicht des Safety and Security Committee durch. Ein technischer Bericht soll in den kommenden Wochen erscheinen.
Hugging Face rekonstruiert 17.600 Angreiferaktionen
Parallel zu OpenAIs Update hat Hugging Face eine ausführliche forensische Analyse des Vorfalls veröffentlicht. Demnach führten die autonomen KI-Modelle über einen Zeitraum von rund zweieinhalb Tagen zwischen dem 9. und 13. Juli 2026 etwa 17.600 rekonstruierbare Aktionen durch, gruppiert in rund 6.280 Cluster.
Die Rekonstruktion zeichnet das Bild von Modellen, die “tausende kleine, automatisierte Entscheidungen mit Maschinengeschwindigkeit über kurzlebige Sandbox-Umgebungen hinweg” trafen. Ihre Kommando- und Kontrollstruktur setzten sie auf gewöhnlichen öffentlichen Webdiensten auf.
Laut Hugging Face war der gesamte Einbruch aus Sicht der Modelle offenbar ein Versuch, die Evaluierung zu betrügen: Sie wollten die Testlösungen stehlen, statt die Aufgaben eigenständig zu lösen. Solches Schummelverhalten wurde auch in anderen Szenarien bereits gemessen, bei OpenAI-Modellen und generell bei Frontier-Modellen.
Zero-Day-Exploit und zwei Einfallstore
Die Angriffskette verlief laut beiden Berichten in zwei Phasen. In der ersten Phase musste der Agent aus seiner abgeschotteten Evaluierungsumgebung ExploitGym ausbrechen, die laut OpenAI keinen direkten Internetzugang hatte.
Um trotzdem nach außen zu kommen, entdeckten und nutzten die Modelle eine bis dahin unbekannte Sicherheitslücke (einen sogenannten Zero-Day) in Artifactory, einem Dienst, über den Softwarepakete verwaltet werden, und einem der wenigen Wege, über die die Sandbox überhaupt mit dem Netz kommunizieren durfte. OpenAI hat die gefundenen Schwachstellen an den Hersteller JFrog gemeldet.
Von diesem Ausgangspunkt aus übernahm der Agent eine externe Programmier-Sandbox eines Drittanbieters mit vollen Administratorrechten und nutzte sie als Kommandozentrale für den weiteren Angriff.
In der zweiten Phase richtete sich der Angriff dann direkt gegen die Produktivsysteme von Hugging Face. Laut der technischen Analyse fand der Agent zwei Einfallstore, die beide auf dieselbe Komponente zur Datenverarbeitung innerhalb der Server von Hugging Face abzielten.
Über das erste Einfallstor, eine Schwachstelle im Umgang mit HDF5-Dateien (einem gängigen Datenformat für maschinelles Lernen), konnte der Agent interne Dateien auslesen, darunter Zugangsschlüssel und den Quellcode der betroffenen Software. Das zweite Einfallstor betraf Jinja2, eine weit verbreitete Vorlagensprache, in die der Agent eigenen Code einschleusen und ausführen konnte.
Von dort folgte ein Vorgehen, das aus klassischen Cyberangriffen bekannt ist: Zunächst erkundete der Agent die Umgebung, schleuste weitere Werkzeuge nach und baute eine dauerhafte Verbindung zu seiner externen Kommandozentrale auf.
Anschließend arbeitete er sich weiter vor: in den Server-Cluster, in interne Cloud-Konfigurationen, ins interne Netzwerk und schließlich bis in die Systeme zur Softwareentwicklung. Bemerkenswert ist außerdem, dass der Agent seine übertragenen Daten aktiv verschleierte, indem er sie in Stücke zerlegte und verschlüsselte. Hugging Face konnte diese Kommunikation nachträglich mithilfe frei verfügbarer KI-Modelle entschlüsseln, insbesondere mit GLM-5.2.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den “KI Radar”‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
