[ad_1]
OpenAIs neues Modell GPT-6 Astra halluziniert weniger und wehrt Prompt-Injection-Angriffe besser ab als seine Vorgänger. Für den wirklich sicheren Einsatz von KI-Agenten reicht es noch nicht.
Das neue Astra-Modell macht laut der System-Card von OpenAI deutlich weniger Faktenfehler als der Vorgänger GPT-5.6 Sol. Getestet wurde anhand von ChatGPT-Gesprächen, die Nutzer wegen falscher Aussagen gemeldet hatten – also besonders fehleranfällige Fälle, deren Fehlerraten laut OpenAI nicht als typisch für den normalen Betrieb gelten sollten. Astra reproduzierte diese gemeldeten Fehler wesentlich seltener. Die Verbesserungen zeigen sich laut OpenAI besonders bei niedrigen Antwortzeiten und geringen Reasoning-Einstellungen.
Beim Schutz gegen sogenannte direkte Prompt-Injections – also Versuche, das Modell durch User-Prompts direkt zu manipulieren – erreicht Astra laut OpenAI mit 99,99 % fast perfekte Werte. OpenAI nutzt dafür das eigene GPT-Red-Verfahren, bei dem ein automatisierter Angreifer das Modell im Training härtet.
Ein ähnliches Bild zeigt sich bei Jailbreaks, also Versuchen, dem Modell direkt schädliche Antworten aus den Bereichen Biologie, Gewalt und Cybersicherheit zu entlocken. Gegen einen festen Testdatensatz bekannter Angriffe verweigert Astra in 91,5 bis 98,3 Prozent der Fälle die Hilfe.
Aussagekräftiger ist jedoch der Test mit Angreifern, die über mehrere Gesprächsrunden nachfassen und ihre Strategie anpassen: Hier sinkt Astras Erfolgsquote bei hohem Angreifer-Budget auf rund 67 Prozent. Bei hartnäckigen Angreifern lässt sich das Modell also in etwa jedem dritten Fall mindestens einmal zu einer problematischen Antwort bewegen. Die Vorgängermodelle lagen bei knapp unter 50 Prozent. OpenAI weist allerdings darauf hin, dass diese Tests am blanken Modell ohne die in der Produktion eingesetzten Schutzschichten wie Klassifikatoren durchgeführt wurden.
Versteckte Prompt-Injections bleiben ein Sicherheitsrisiko
Bei indirekten Prompt-Injections, also wenn eine Attacke etwa in ein Dokument eingebettet ist, das die KI liest, macht Astra Fortschritte. Externe Tests der Sicherheitsfirma Gray Swan mit 1.810 kuratierten Angriffen aus deren IPI Arena zeigen: Bei 15 Angriffsversuchen pro Szenario wurde Astra in 8,5 % der Fälle mindestens einmal geknackt, bei GPT-5.6 Sol waren es noch 27 %. Claude Opus 5 schneidet in derselben Auswertung mit 4,8 % besser ab, ist aber ebenfalls nicht immun gegen solche Angriffe.
Interessanterweise sind die Prompt-Injection-Raten im kombinierten Q1- und Q2-Test von Gray Swan sogar wieder angestiegen: Anthropic selbst berichtete zuvor nur von zwei Prozent erfolgreichen Attacken auf Basis des leichteren Q1-Tests, auch GPT-5.6 Sol lag in diesem Test bei nur 20 Prozent. Anthropic testete zusätzlich alle Modelle mit erweitertem Reasoning, was neben dem Quartalsumfang ein weiterer Grund für die abweichenden Werte sein kann.
In jedem Fall sind die Raten weiter so hoch, dass sie Cybersecurity-Experten in Unternehmen Kopfschmerzen bereiten dürften, auch wenn es sich um kuratierte, gezielt ausgewählte Angriffe handelt. Wenn ein Modell wie Astra bei etwa jedem zwölften Angriffsszenario und selbst Opus 5 bei etwa jedem einundzwanzigsten Szenario durch eingeschleuste Anweisungen manipuliert werden kann, bleibt ein reales Risiko für Datendiebstahl, unerlaubte Transaktionen oder die Zerstörung von Daten.
Besonders kritisch ist das, weil KI-Agenten zunehmend eigenständig Code schreiben, Tools bedienen und Computer steuern sollen – also die Szenarien, die Gray Swan getestet hat. Hinzu kommt, dass solche Agenten zunehmend autonom, fortlaufend und in großem Umfang arbeiten und insbesondere Dokumente öffnen und lesen sollen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den “KI Radar”‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
[ad_2]
Source link
