In der Softwareentwicklung ist es üblich, Coding-Agenten mithilfe von Kontextdateien wie Agents.md an Repositorys anzupassen. Diese sollen den Agenten Orientierung bieten, damit sie schneller produktiv werden, sich an Projektstandards halten und seltener Fehler machen. Die Entwickler:innen der Agenten empfehlen diese Vorgehensweise selbst. Trotzdem gibt es bislang keine fundierte Untersuchung darüber, ob solche Kontextdateien bei realen Aufgaben tatsächlich wirksam sind. Ein Team aus Forscher:innen der ETH Zürich und des Schweizer Startups Logicstar.ai ist dieser Frage im Rahmen der Studie nachgegangen. Die Ergebnisse sind bei Arxiv zugänglich.
Forscher:innen entwickelten neuen Benchmark
Im Rahmen ihrer Untersuchung bewerteten die Forscher:innen den Einfluss von Kontextdateien auf die Leistung von vier gängigen Programmieragenten in Kombination mit passenden Modellen. Konkret untersuchten sie Claude Code von Anthropic mit Sonnet-4.5, Codex von OpenAI mit GPT-5.2 und GPT-5.1 Mini sowie Qwen Code von Alibaba mit Qwen3-30B-Coder.
Für die Bewertung nutzten sie zum einen den etablierten Benchmark SWE-Bench. Er misst, wie gut KI-Coding-Agenten reale Softwareprobleme lösen können. Er basiert auf großen, bekannten und gut dokumentierten Projekten. Zusätzlich entwickelten sie den neuen CTXbench, der gezielt kleinere, weniger bekannte Repositorys mit echten, von Entwickler:innen geschriebenen Kontextdateien umfasst. Dafür wählten sie 138 reale Github-Probleme aus zwölf Nischenprojekten aus, die schon über eigene Kontextdateien verfügten.
Jede Aufgabe testeten sie in drei Varianten: einmal ganz ohne Kontextdatei, mit einer vom Agenten selbst generierten Datei und mit der Originaldatei der Entwickler:innen. Ein automatischer Test prüfte, ob die Lösung funktionierte. Zusätzlich liefen dieselben drei Varianten auf dem bekannten SWE-Bench mit populären Repositorys. So konnten die Forscher:innen vergleichen, ob der eingesetzte Agent mit einer Kontextdatei eher in der Lage war, die Aufgabe korrekt zu lösen.
Außerdem untersuchten sie, wie viel zusätzliche Zeit und Rechenleistung in diesem Fall aufgewendet wurden. Das Ergebnis dürfte viele überraschen: Die Bereitstellung von Kontextdateien konnte die Erfolgsraten bei der Aufgabenerledigung im Allgemeinen nicht verbessern. Gleichzeitig trieb es die Inferenzkosten im Durchschnitt um mehr als 20 Prozent in die Höhe.
Kontextdateien erwiesen sich nicht als hilfreich
Die Analyse habe zwar gezeigt, dass Anweisungen in Kontextdateien im Allgemeinen befolgt werden und zu mehr Tests sowie einer umfassenderen Überprüfung führen. Laut den Forscher:innen fungieren sie allerdings nicht als effektive Repository-Übersichten. „Konkret stellen wir fest, dass die Anweisungen in den Kontextdateien zwar von den Programmieragenten gut befolgt werden, Repository-Übersichten aber – obwohl sie beliebt sind und von Modellanbietern empfohlen werden – nicht hilfreich sind“, so die Forschungsgruppe in ihrer Studie.
„Wir kommen zu dem Schluss, dass Kontextdateien zwar nützlich sind, um nicht standardisierte Programmierpraktiken zu spezifizieren, jegliche Versuche zur Leistungsverbesserung aber vor dem Einsatz gründlich evaluiert werden sollten.“ Im Fazit ihrer Studie heißt es: „Insgesamt deuten unsere Ergebnisse darauf hin, dass Kontextdateien die Leistung von Programmieragenten nicht verbessern und nur spezifische zusätzliche Anweisungen enthalten sollten, die über das hinausgehen, was bereits in der Codebasis verfügbar ist.“
