Der nächste Zustand ist auch mental
Die Autoren illustrieren die Lücke an einem einfachen Beispiel: Wird die Tasse einer Person in den Schrank geräumt, während sie wegschaut, sieht die Szene für ein rein physisches Weltmodell korrekt aus, trotzdem sagt es die falsche nächste Handlung voraus. Erst ein Modell, das auch die Überzeugung der Person über den Standort der Tasse mitführt, kann ihr tatsächliches Verhalten erklären.
Ihr auf GitHub veröffentlichtes Framework “Mental World Modeling” (MWM) erweitert klassische Weltmodelle deshalb um mentale Variablen wie Überzeugungen, Aufmerksamkeit, Ziele, Absichten, Emotionen, Normen und soziale Beziehungen. Der Zielagent sieht dabei nur eine egozentrische Teilperspektive, während das Weltmodell den vollständigen Zustand kennt.
Eine Aktion zerfällt in einen physischen Träger wie Sprechen, Zeigen oder Greifen und einen mentalen Gehalt wie Trösten, Täuschen oder Ablehnen. Dieselbe Geste, eine Tasse über den Tisch zu reichen, kann so eine Entschuldigung, eine Täuschung oder eine Fürsorge sein, und nur das Weltmodell hält die Variablen, die sie voneinander unterscheiden.
Ausdrücklich beanspruchen die Autoren nicht, Bewusstsein zu simulieren. Mentale Zustände seien Hypothesen aus Verhalten und Kontext, keine Messungen, und Systeme, die auf dem Framework aufbauen, sollten Unsicherheit repräsentieren und ihre Annahmen einsehbar halten.
MENTIS als trainingsfreie Referenzimplementierung
Um die Theorie zu testen, bauen die Forschenden MENTIS, eine modulare Pipeline ohne zusätzliches Training. Sie zerlegt den Prozess in sechs Schritte. Zuerst wird die Szene geparst und die Ego-Perspektive gerendert, dann werden die Handlungsoptionen in physische und mentale Anteile zerlegt und die Folgezustände parallel simuliert.
Jeder Zweig wird anschließend entlang von drei Kriterien bewertet – physische Plausibilität, mentale Konsistenz und soziale Angemessenheit –, bevor die Pipeline deterministisch entscheidet. Jede Stufe schreibt ein maschinenlesbares Zwischenergebnis, sodass sich Fehler einer bestimmten Stufe zuordnen lassen.
Zur Evaluation konstruieren die Autoren Menti-Bench, einen Datensatz aus 448 Entscheidungsszenen, davon 320 Textbeschreibungen, 100 Bildgeschichten und 28 Sound-Video-Clips. Jede Szene enthält sechs Antwortoptionen sowie eine von Menschen erstellte Musterlösung, die neben der richtigen Handlung auch die zugrunde liegenden mentalen und physischen Zustände dokumentiert. 78 Prozent der Szenen enthalten mindestens zwei Charaktere.
Mehr Rechenversuche ersetzen keine mentale Modellierung
Getestet wurden acht Sprachmodelle, darunter fünf OpenAI-Modelle (unter anderem GPT-5.6-Sol und GPT-4.1) und drei Anthropic-Modelle (Claude Fable 5, Claude Opus 4.8, Claude Haiku 4.5). Als Genauigkeitsmaß verwenden die Autoren den F1-Wert, der Präzision und Trefferquote der gewählten Handlung kombiniert.
Über alle Modelle hinweg steigt dieser Wert mit jeder zusätzlichen Modellierungsstufe, von 63,3 bei direkter Antwort auf 77,9, wenn das Modell dieselbe Frage sechsmal beantwortet und die häufigste Antwort wählt (sogenannte Self-Consistency), und auf 87,9 mit dem vollen MWM. Menschen erreichen unter identischem Protokoll einen F1-Wert von 98,5.
Der Zugewinn lässt sich in den Experimenten nicht einfach durch mehrfaches Sampling der direkten Antwort ersetzen. Das schwächste Modell mit MWM (GPT-4.1, 84,9) schlägt das stärkste Modell mit direkter Antwort und Self-Consistency (GPT-5.6-Sol, 83,6). Weitere Tests bestätigen die zentralen Annahmen des Frameworks: Ohne den mentalen Kanal fallen die Modelle im Schnitt um 12,1 Punkte, ohne den physischen um 16,5 Punkte. Werden beide Übergänge unabhängig statt gekoppelt vorhergesagt, gehen 6,4 Punkte verloren.
Am stärksten wirkt sich die mentale Modellierung dort aus, wo die Theorie es vorhersagt. Bei zwischenmenschlichen Szenen verbessert sich der F1-Wert um 26,4 Punkte, bei objektbezogenen Szenen nur um 14,0. Auffällig ist, dass schwächere Basismodelle stärker von der expliziten Struktur profitieren als leistungsfähigere. Der Abstand von MWM zur direkten Antwort liegt bei GPT-4.1 bei 28 Punkten, bei GPT-5.6-Sol nur bei 21.
Flaschenhals sitzt in der Simulation
Um zu lokalisieren, woher die verbleibende Lücke zum Menschen stammt, ersetzen die Autoren einzelne Pipeline-Stufen durch die menschliche Musterlösung. Der größte Einzelgewinn kommt von perfekten Zustandsübergängen (+3,5 Punkte), gefolgt von perfektem Ausgangszustand (+2,8) und perfekter Beobachtung (+1,7). Wenn alle Zwischenschritte durch die Musterlösung ersetzt werden, erreicht die Pipeline 97 Punkte.
Damit lassen sich rund 80 Prozent der verbleibenden Lücke auf Vorhersagefehler in den Zwischenstufen zurückführen, hauptsächlich auf die Übergangssimulation. Zukünftige Verbesserungen sollten laut den Autoren dort zuerst ansetzen, also nicht darin bestehen, den aktuellen Zustand zu beschreiben, sondern darin, zu simulieren, wie sich die gekoppelte physisch-mentale Welt verändert.
Ein Feld, das sich noch nicht auf seine Definition geeinigt hat
Weltmodelle sind derzeit die große Wette nach den reinen Sprachmodellen. Demis Hassabis, bis vor Kurzem noch operativer Chef von Google Deepmind, verbringt nach eigener Aussage den Großteil seiner Forschungszeit mit dem Thema und erwartet für die Systeme einen “ChatGPT-Moment”. Investoren stecken dreistellige Millionenbeträge in Start-ups wie Odyssey. Was genau unter den Begriff fällt, ist allerdings umstritten. Ein internationales Team um die Peking University hat kürzlich eine engere Definition vorgeschlagen, die Text-zu-Video-Modelle wie Sora ausschließt, weil ihnen die Rückkopplung mit der realen Welt fehlt. Yann LeCun hält den generativen Ansatz seit Jahren für eine Sackgasse und setzt stattdessen auf abstrakte Repräsentationen. Das neue Paper zählt Sora, Genie und JEPA dagegen alle zur selben Familie und kritisiert sie gemeinsam für dieselbe Auslassung.
Die Frage nach mentalen Zuständen führt zurück auf ein Forschungsfeld, in dem Sprachmodelle bislang schlecht abschneiden. Ein Team von Metas FAIR sowie den Universitäten Washington und Carnegie Mellon zeigte bereits, dass Modelle bei anspruchsvollen Theory-of-Mind-Tests scheitern und dabei ausgerechnet beim Verfolgen von Weltzuständen noch schwächer sind als beim Zuschreiben von Überzeugungen. Das MWM-Framework legt diese Zustände von außen an, über eine vorgeschaltete Pipeline. In den Modellen selbst entsteht derweil etwas Ähnliches ohne Zutun. Anthropic hat in Claude einen internen Arbeitsspeicher gefunden, der wortförmige Gedanken hält, die nie ausgegeben werden, und ohne den mehrstufige Schlussfolgerungen zusammenbrechen.
