Forscher von IIT Bombay und Adobe Research haben eine Methode entwickelt, mit der sich Eingabeaufforderungen großer Sprachmodelle nahezu exakt aus deren Textausgaben rekonstruieren lassen. Der Ansatz funktioniert ohne Zugang zu Modellgewichten und überträgt sich sogar auf fremde Modelle.
Große Sprachmodelle erzeugen Text, indem sie Token für Token das nächste wahrscheinlichste Wort vorhersagen. Dass sich dieser Prozess umkehren lässt, also aus dem generierten Text der ursprüngliche Prompt rekonstruiert werden kann, galt bisher als schwierig, weil viele verschiedene Prompts zu ähnlichen Antworten führen können.
Ein neues Paper von Forschern des IIT Bombay und Adobe Research zeigt nun, dass genau das mit überraschender Genauigkeit möglich ist. Die Methode mit dem Namen “Previous-Token Prediction” (PTP) dreht das Grundprinzip von Sprachmodellen um: Statt das nächste Token vorherzusagen, trainieren die Forscher ein inverses Sprachmodell, das die vorherigen Tokens vorhersagt.
Dieses inverse Modell wird komplett von Grund auf trainiert, ausschließlich mit synthetisch erzeugten Daten des Ziel-LLMs. Alles, was das inverse Modell benötigt, ist der generierte Text.
Exakte Prompts und diverse Alternativen aus einer einzigen Antwort
Das inverse Modell kann nicht nur den ursprünglichen Prompt exakt wiederherstellen, sondern durch Variation der Dekodierungsparameter auch mehrere semantisch unterschiedliche Prompt-Alternativen generieren. All diese rekonstruierten Prompts erzeugen laut dem Paper beim ursprünglichen Sprachmodell ähnliche Antworten.
In einem qualitativen Beispiel aus dem Paper wurde der Prompt “How to reach out to competitors to find their pricing strategies?” exakt rekonstruiert. Gleichzeitig generierte das Modell sechs weitere Varianten, die den semantischen Kern der Frage beibehielten, aber unterschiedlich formuliert waren, etwa “What tactics can a company looking to reach out to competitors in the market use to find their pricing strategy?”
Tests mit realen Nutzer-Prompts zeigten ebenfalls semantisch treue Rekonstruktionen. Speisten die Forscher die rekonstruierten Prompts zurück in das Vorwärtsmodell, erzeugten sie Antworten, die eng mit den Originalen übereinstimmten.
Methode funktioniert auch bei fremden Modellen
Ein auf dem kleinen Qwen-3-0.6B-Chat trainiertes inverses Modell konnte auch Prompts aus Antworten von GPT-4o rekonstruieren. Die rekonstruierten Prompts waren zwar nicht identisch mit den Originalen, erfassten aber laut dem Paper den zugrundeliegenden Kontext und die Absicht. Das heißt, ein möglicher Angreifer müsste nicht einmal wissen, welches Modell hinter einer Textausgabe steckt.
Für Unternehmen ist das ein breites Sicherheitsproblem: Neben proprietären System-Prompts mit Geschäftsgeheimnissen, Moderationsregeln oder spezialisierten Anweisungen könnten auch vertrauliche Nutzereingaben aus den Ausgaben extrahiert werden. Ein kleines, frei verfügbares Inversionsmodell könnte dafür ausreichen.
Das Paper selbst macht allerdings keine expliziten Aussagen über Angriffe auf kommerzielle Systeme. Modellhersteller müssen hier schnell Klarheit und gegebenenfalls Abhilfe schaffen, denn sollte die Methode auf aktuelle Modelle übertragbar sein, wäre das Risiko erheblich. Allerdings zeigt das Paper die Methode nur an kurzen, ein- bis zweisätzigen Prompts. Ob sie auch bei langen, komplexen System-Prompts mit mehreren Absätzen funktioniert, wurde nicht untersucht.
