Eine neue Untersuchung zeigt, dass gängige Programmier-Assistenten weder vorhersagen können, wie lange sie für eine Aufgabe benötigen, noch verlässlich einschätzen, wie lange sie schon gearbeitet haben. Für den Einsatz bei langen Aufgaben ist das ein Problem.
Wenn ein KI-Assistent eine Aufgabe erledigt, weiß er oft nicht, wie viel Zeit dabei vergeht. Das ist das Ergebnis einer Untersuchung von zwei unabhängigen KI-Forschern, die im Rahmen des Forschungsprogramms MATS entstanden ist. Die beiden testeten zwei verbreitete Programmier-Assistenten, Anthropics Claude Code und OpenAIs Codex, auf ihr Zeitgefühl.
Die Agenten sollten vor einer Programmieraufgabe schätzen, wie lange sie benötigen würden, die Aufgabe dann lösen und anschließend rückblickend angeben, wie viel Zeit vergangen war. Als Testmaterial dienten 200 Aufgaben aus einer Sammlung namens ProgramBench sowie eine eigene Suite aus 18 Benchmarks.
In den Tests überschätzen die Agenten konsequent, wie viel Zeit sie brauchen. Auf ProgramBench tippten beide Modelle unabhängig vom Schwierigkeitsgrad meist auf rund anderthalb Stunden. In der zweiten Testreihe lag Claude im Schnitt um das Dreifache daneben, Codex um das Sechs- bis Zehnfache. Besonders schlecht fielen die Schätzungen bei kurzen Aufgaben aus und erst im Mehrstundenbereich näherten sich manche Prognosen der Realität an.
Dieselbe KI verhält sich je nach Umgebung völlig anders
Unterschiede gibt es je nach Software-Umgebung, in der die Modelle laufen: Claude Code arbeitet so lange weiter, bis es die Aufgabe für gelöst hält, im Median rund anderthalb Stunden. Codex dagegen bricht fast unabhängig von der Aufgabe nach etwa einer halben Stunde ab. Dasselbe Sprachmodell benötigt in Claude Code laut der Untersuchung im Schnitt 2,5-mal mehr Arbeitsschritte als in Codex. Die Laufzeit hängt also vom Modell und auch stark von der umgebenden Software ab, dem sogenannten Harness.
Ähnlich unzuverlässig schätzen die Agenten die Qualität ihrer eigenen Arbeit ein. Die älteren Modelle Opus 4.8 und GPT-5.5 überbewerteten ihr Ergebnis im Schnitt um 20 Punkte und gaben sich auch bei gescheiterten Aufgaben hohe Noten. In einem Fall hielten beide ihre Arbeit für rund 70 Prozent gelungen, tatsächlich lag das Ergebnis bei 7 und 14,5 Prozent.
Quelle: Ofengenden/Andriushchenko, LessWrong
Laut den Forschern ist diese Fähigkeit zur Selbsteinschätzung wichtig. Damit ein Agent an langen, mehrstündigen Aufgaben zuverlässig arbeiten kann, muss er Anweisungen wie “iteriere zwei Stunden an dieser Aufgabe” folgen können. Ein Agent, der sich ständig verschätzt, sei schwer kontrollierbar. Die Autoren wollen als Nächstes untersuchen, ob Agenten eine vorgegebene Arbeitsdauer auch einhalten können. Bekamen die Agenten Zugriff auf ein Werkzeug, das die verstrichene Zeit ausgibt, lagen sie immerhin fast immer richtig.
