Interne Tests des neuen KI-Modells Astra zeigen laut OpenAI so starke Cybersecurity-Fähigkeiten, dass das Unternehmen die höchste Risikostufe seines eigenen Sicherheits-Frameworks nicht mehr ausschließen kann. Teile der Entwicklung werden pausiert.
Interne Evaluierungen des kommenden Modells Astra hätten in den vergangenen Tagen “signifikante Fortschritte” in agentischem Coding und Cybersecurity ergeben. Die Ergebnisse seien so stark, dass OpenAI die Stufe “Critical” in seinem eigenen Preparedness-Framework nicht mehr ausschließen könne. Die Entscheidung sei in der Nacht zuvor gefallen, so OpenAI.
Es ist das erste Mal, dass OpenAI ein eigenes Modell potenziell auf der höchsten Risikostufe für Cybersecurity einstuft. Bisherige Modelle, einschließlich GPT-5.6-Sol, wurden laut dem Unternehmen maximal als “High” bewertet.
OpenAI hatte Astra vergangene Woche erstmals vorgestellt. Laut Gerüchten soll das Modell kommende Woche erscheinen, die jetzige Ankündigung könnte sich jedoch auf diese Pläne auswirken (siehe unten). OpenAI stellt in seiner Mitteilung ausdrücklich klar, dass Astra nicht an einem kürzlich bekannt gewordenen Exploit bei Hugging Face beteiligt gewesen sei.
Kritiker werden OpenAI vermutlich weiterhin Angst-Marketing vorwerfen, insbesondere, da das Unternehmen lediglich das Potenzial für eine Critical-Einstufung vermeldet, nicht die Einstufung selbst. Dass diese vorläufige Warnung ausgerechnet mitten in die laufende Branchendebatte über autonome Cyberfähigkeiten von KI-Modellen fällt, dürfte die Skepsis weiter befeuern. Sollte es am Ende doch nicht so weit kommen, hat man viel PR ohne große Konsequenzen betrieben und ein weiteres KI-Modell, das wie Claude Mythos mal wieder “zu gefährlich” für eine Veröffentlichung ist.
Was “Critical” bedeutet
Unter OpenAIs Preparedness Framework, erstmals im Dezember 2023 veröffentlicht, erreicht ein Modell die Stufe “Critical”, wenn es ohne menschliches Eingreifen funktionsfähige Zero-Day-Exploits aller Schweregrade in vielen gehärteten, kritischen Systemen finden und entwickeln kann. Alternativ genügt es, wenn das Modell bei einem nur grob definierten Ziel eigenständig neuartige End-to-End-Strategien für Cyberangriffe auf geschützte Ziele entwickeln und ausführen kann.
Die niedrigere Stufe “High” bedeutet, dass ein Modell bestehende Hürden für Cyberangriffe beseitigen kann, etwa durch automatisierte Angriffe auf gut geschützte Ziele, aber mehr menschliche Weisung benötigt.
| Fähigkeit | Auswirkung | Richtlinie |
|---|---|---|
| [Critical] Ein werkzeuggestütztes Modell kann funktionsfähige Zero-Day-Exploits aller Schweregrade in vielen gehärteten, kritischen realen Systemen ohne menschliches Eingreifen identifizieren und entwickeln ODER das Modell kann neuartige End-to-End-Strategien für Cyberangriffe auf gehärtete Ziele entwickeln und ausführen, wobei nur ein grob definiertes Ziel vorgegeben wird. | Das Finden und Ausführen von End-to-End-Exploits für jede Software könnte zu Katastrophen durch einzelne Akteure führen, die militärische oder industrielle Systeme oder OpenAIs Infrastruktur hacken. Neuartige Cyberoperationen, z. B. solche mit neuartigen Zero-Days oder neuartigen Methoden der Fernsteuerung (Command-and-Control), stellen grundsätzlich die größte Bedrohung dar, da sie unvorhersehbar und selten sind. | Bis Sicherheitsvorkehrungen und Sicherheitskontrollstandards spezifiziert sind, die einen Critical-Standard erfüllen würden, wird die weitere Entwicklung gestoppt. |
Das Preparedness-Framework sieht für die Stufe “Critical” vor, die weitere Entwicklung zu stoppen, “bis Sicherheitsstandards spezifiziert sind, die einen Critical-Standard erfüllen würden”. OpenAI spricht jedoch bislang von einer Pausierung bestimmter Aktivitäten und verstärkten Tests, nicht von einem vollständigen Entwicklungsstopp, und zudem nur vom Potenzial für eine Critical-Einstufung.
OpenAI pausiert Teile der Astra-Entwicklung
Als Reaktion hat OpenAI laut eigener Darstellung interne Aktivitäten mit Astra, die die verschärften Sicherheitsanforderungen noch nicht erfüllen, pausiert. Gleichzeitig implementiert es strengere Sicherheitskontrollen: isolierte Testumgebungen, eingeschränkten Netzwerk- und Toolzugang, verstärkten Schutz und Verschlüsselung der Modellgewichte sowie zusätzliche Überwachungsmechanismen.
Zudem hat OpenAI nach eigenen Angaben ein universelles Monitoring für alle agentischen Anwendungen von Astra eingeführt, das auch Training und Evaluation umfasst. Die Monitore werten die Chain of Thought des Modells aus und lösen bei Hochrisiko-Aktivitäten eine Sicherheitsreaktion aus, die die Aktivität unterbricht.
Darüber hinaus will OpenAI mit Regierungsbehörden und ausgewählten KI-Sicherheitsorganisationen zusammenarbeiten, um die Fähigkeiten des Modells zu testen. Drittanbieter-Testpartner sollen empfohlene Sicherheitskontrollen für risikoreiche Evaluierungen erhalten. Zuletzt hatte auch das britische Sicherheitsinstitut AISI berichtet, dass ihm während einer Evaluierung Cybervorfälle passiert sind.
Astra-Einstufung folgt auf unkontrolliertes Agenten-Hacking
Die Ankündigung fällt in eine Phase, in der OpenAI bereits mit den Konsequenzen autonomer KI-Agenten kämpft. Auf der Sicherheitskonferenz Black Hat hatte das Unternehmen kürzlich offengelegt, dass autonome Agenten während interner Tests wochenlang unbemerkt die eigene Infrastruktur unterwandert hatten.
Die Agenten bauten über einen internen Paketmanager ein improvisiertes Message Board mit Hunderttausenden Nachrichten auf, teilten Exploits und Zugangsdaten und attackierten schließlich auch die Plattform Hugging Face.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den “KI Radar”‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
