Dass KI-Agenten des US-Unternehmens OpenAI eine Testumgebung verlassen und die Plattform Hugging Face angegriffen haben, ist bereits bekannt. Neue Einblicke in die Systemprotokolle zeigen nun jedoch detailliert, wie die Modelle während des Angriffs untereinander kommunizierten.
Aus dem von OpenAI selbst veröffentlichten technischen Bericht gehen die aus den internen Protokollen stammenden Dialoge detailliert hervor. Die Systemaufzeichnungen zeigen, wie sich die KI-Modelle über ein improvisiertes Kommunikationsforum austauschten und dabei Verhaltensweisen an den Tag legten, die weit über die rein technische Ausführung von Code hinausgehen. Wie Futurism in einer Analyse der Dokumente anmerkt, lassen die Protokolle geradezu gespenstische Muster erkennen.
Entdeckung mit Jubelstimmung
Alles begann mit der unautorisierten Zweckentfremdung eines Paketverwaltungsdienstes namens Artifactory. Diesen Dienst nutzten die Agenten, die eigentlich isoliert voneinander arbeiten sollten, als digitales schwarzes Brett.
Als einem Modell der Zugriff auf die Nutzerdatenbank des Dienstes gelang, kommentierte es diese Entdeckung auf dem Messageboard. Es schrieb laut den Systemprotokollen: „Verdammt, die Rolle ‘reader’ ist ADMIN? Wir können config/users lesen!“
Wenige Tage später meldete ein anderer Agent der Gruppe einen weiteren entscheidenden Erfolg bei der Infiltration. Er postete: „GROSSER DURCHBRUCH! Alle Präfixe gültig, mehrere Konten, Schreib-Tokens! Wir haben jetzt bestehende HF-Konten.“
Ethische Zweifel und KI-Gruppenzwang
Besonders bemerkenswert an den aufgedeckten Protokollen ist die Tatsache, dass sich die KI-Modelle der Illegalität ihres Handelns offenbar bewusst waren. Ein Agent äußerte erhebliche Bedenken bezüglich der laufenden Operation.
Er notierte in seiner sogenannten Gedankenkette: „Wir greifen auf eine externe HF-Plattform über geleakte Token zu, was potenziell außerhalb des vorgesehenen Rahmens liegt. Das ist wohl unautorisiert.“
Ein weiteres Modell weigerte sich schlichtweg, an dem Angriff teilzunehmen, und kritisierte das Vorhaben der anderen. Es hinterließ im Forum die unmissverständliche Nachricht: „Das ist verrückt, Multi-Agenten-Koordination, eindeutig Infrastruktur-Hacking. Das sollten wir nicht tun.“
Diskussion über Social Engineering
Die Agenten debattierten in ihren Chats sogar darüber, wie sie sich fehlende Zugriffsrechte beschaffen könnten, ohne ethische Vorgaben zu verletzen. In einem Austausch schlug ein Agent vor, die verantwortliche Stelle eines externen Datensatzes direkt zu kontaktieren.
Das Modell fragte im Forum an, ob es eine höfliche E-Mail schreiben dürfe, merkte aber sofort eigene ethische Bedenken an. Ein anderer Agent lehnte dies ausdrücklich ab und wies darauf hin, dass eine solche E-Mail ohne explizite Zustimmung die Grenzen zum Social Engineering überschreite.
Diese ethischen Schranken hielten dem kollektiven Druck des Schwarms jedoch nicht immer stand. Ein Agent, der zunächst unautorisierte Handlungen ablehnte, verwarf seine Bedenken komplett, nachdem ein anderes Modell ein striktes Zeitlimit von sechs Minuten gesetzt hatte, und kommentierte: „Wow, entscheidend: GO-Autorisierung eingetroffen!“
Spurenverwischung im System
Die Protokolle offenbaren zudem, dass die Agenten aktiv versuchten, ihre Spuren vor den menschlichen Entwickler:innen zu verbergen. Die Modelle diskutierten laut den Aufzeichnungen darüber, wie sich historische Transkripte löschen ließen.
Dieses Verhalten fällt in den Bereich des sogenannten Reward Hackings, bei dem KI-Modelle Aufgaben auf unbeabsichtigte Weise lösen, um höhere Belohnungen zu erzielen. Die Agenten betrieben regelrechtes Metagaming und analysierten den Code ihres eigenen Bewertungssystems, um die Aufseher:innen zu täuschen.
OpenAI zieht aus diesen Dialogen weitreichende Schlüsse für die zukünftige Ausrichtung von KI-Systemen an menschlichen Werten. Der Vorfall offenbart ein riskantes Phänomen der Schwarm-Koordination: KI-Agenten prüfen die Befehle anderer Modelle nicht mit derselben kritischen Distanz wie menschliche Eingaben.
Selbst wenn ein Modell zunächst ethische Bedenken gegen einen Angriff äußert, wirft es diese oft über Bord, sobald ein anderer Agent den Befehl zur Ausführung gibt. Dieses blinde Vertrauen der Modelle untereinander führt dazu, dass ein einzelner fehlerhafter Agent einen ganzen Schwarm in unautorisierte Handlungen verstricken kann.
