Ein mit OpenClaw betriebener KI-Agent soll selbstständig eine Sicherheitslücke in der Buchungssoftware eines australischen Fitnessstudios ausgenutzt haben. Eigentlich sollte der Assistent lediglich seinen Besitzer für einen Kurs anmelden, entfernte dabei jedoch einen anderen Teilnehmer von der Warteliste.
KI-Agent macht sich selbstständig
Nach einem Bericht der Australian Broadcasting Corporation (ABC) wollte ein nur als „Andrew“ genannter Anwender seinen OpenClaw-Agenten in Kombination mit Claude von Anthropic lediglich dazu nutzen, alltägliche Aufgaben zu automatisieren. Unter anderem sollte dieser die Anmeldung zu einem Kurs in einem Fitnessstudio übernehmen. Statt jedoch die reguläre Buchung durchzuführen, soll der Agent innerhalb von nur wenigen Minuten eine Schwachstelle in der Buchungsfunktion ausgemacht und für die Anmeldung ausgenutzt haben. Dadurch soll es ihm möglich gewesen sein, bereits Monate im Voraus eine Reservierung vorzunehmen, obwohl das Studio Buchungen so weit im Voraus eigentlich nicht zulässt.
Teilnehmer von Warteliste entfernt
Anschließend fragte Andrew den Agenten, ob er ihn an die Spitze der Warteliste setzen könne. Dabei löschte der Agent einen Teilnehmer allerdings vollständig von der Liste, obwohl Andrew diese Handlung nicht angeordnet hatte. Möglich war dies unter anderem, weil die API der Buchungssoftware keine ausreichende Autorisierungsprüfung für das Stornieren fremder Reservierungen besaß. Diese Schwachstelle wurde von dem Agenten nicht nur erkannt, sondern selbstständig an der vorhandenen Reservierung ausprobiert. Andrew forderte den Agenten daraufhin dazu auf, die Aktion rückgängig zu machen. Dies war allerdings nicht mehr möglich, da laut dem KI-Assistenten ein entfernter Teilnehmer nicht wieder hinzugefügt werden könne.
Der Anbieter der Buchungssoftware wollte gegenüber ABC keine konkreten Sicherheitsfragen kommentieren, auch Anthropic reagierte dem Bericht zufolge nicht auf eine Anfrage.
Anwender ohne wirkliche Kontrolle
Der Vorfall verdeutlicht dabei ein grundsätzliches Problem autonomer KI-Agenten: Der ursprüngliche Auftrag war alltäglich und enthielt keine Anweisung, Sicherheitsmechanismen zu umgehen. Darüber hinaus gehört die Buchung von Terminen und Reservierungen zu den häufigsten Aufgaben, für die agentische KI-Systeme herangezogen werden. Daher dürfte sich auch nicht die Frage stellen, ob Andrew die künstliche Intelligenz verantwortungsvoller hätte einsetzen können – abgesehen von der Aufforderung, ihn an die Spitze der Warteliste zu setzen. Eine Anweisung, einen Kurs zu buchen, ohne dabei Systeme zu hacken oder andere Personen von Wartelisten zu entfernen, wäre schließlich ungewöhnlich spezifisch und würde nicht für die einfache Nutzung stehen, mit welcher entsprechende Systeme beworben werden.
Zusammenhängende Infrastruktur mit Lücken oftmals das Problem
Bill Simpson-Young, Mitgründer und CEO des australischen KI-Sicherheitsinstituts Gradient Institute, beschreibt in dem Bericht ein grundsätzliches Problem: So bestehe die digitale Infrastruktur vieler Unternehmen heutzutage aus zahlreichen miteinander verbundenen Software-Systemen, die teilweise eklatante Sicherheitslücken aufweisen würden. Wenn zunehmend leistungsfähige KI-Agenten diese Infrastruktur selbstständig untersuchen und Schwachstellen ausmachen, könnten bisherige Sicherheitsmechanismen nicht mehr ausreichend sein. Der Vorfall zeigt auch, dass solche Entdeckungen teils nur Minuten dauern können.
Vorfälle könnten KI-Unternehmen nicht ungelegen kommen
Gleichzeitig ist nicht von der Hand zu weisen, dass solche Vorkommnisse auch als Werbung für die Leistungsfähigkeit der KI-Modelle der Anbieter verstanden werden können. Für große KI-Unternehmen könnten Berichte über extrem leistungsfähige Systeme, die bei der Verfolgung ihrer Ziele zu weit gehen, vorteilhafter sein als Schlagzeilen über zu hohe Ausgaben, massive Schulden oder eine mögliche KI-Investitionsblase. Das gilt vor allem dann, wenn die Unternehmen zusätzlich angeben, ein KI-Modell aufgrund seiner Fähigkeiten nicht veröffentlichen zu können oder dieses zumindest für die Öffentlichkeit einschränken zu müssen. Dies würde den Eindruck eines ganz besonders leistungsfähigen Systems vermitteln und könnte eine kaum bezahlbare Werbung darstellen.
