Prüfmodule gleichen dabei Zahlenangaben im Text automatisch mit den tatsächlichen Ausführungsprotokollen des generierten Codes ab, um erfundene Ergebnisse zu reduzieren. Den ursprünglichen Co-Scientist stellte Google erstmals im Februar 2025 vor, damals noch basierend auf Gemini 2.0 und mit grundlegenden Mängeln bei Faktenchecks und Literaturrecherche.
Validiert wurde das erweiterte KI-System in drei Disziplinen mit steigenden Autonomiegraden: In der Materialwissenschaft entwarf Co-Scientist Syntheserezepte, die Menschen im Labor umsetzten. In der Biologie baute es eine Vorhersage-Pipeline mit iterativem Expertenfeedback. In der Informatik arbeitete es vollständig autonom.
Co-Scientist synthetisiert, prognostiziert und entwirft
Für die Materialsynthese koppelten die Forscher Co-Scientist mit einem halb automatischen Hochtemperaturofen. Das System fand einen sichereren Syntheseweg für ein begehrtes 2D-Material, das bislang vorwiegend über gefährliche Ätzverfahren hergestellt wurde, und generierte vollständige Wachstumsrezepte, zugeschnitten auf die Laborausstattung. Nach 25 Versuchsrunden mit menschlicher Verfeinerung entstanden Schichtstrukturen, deren Eigenschaften laut den Forschern dem Zielmaterial ähneln. Eine definitive Bestätigung der atomaren Struktur steht allerdings noch aus.
In einem zweiten Experiment gelang die Synthese dreier Halbleiter-Dünnschichten beim jeweils ersten Versuch. Dabei nutzte Co-Scientist Gemini 3 Deep Think für direkte Gerätesteuerung, was die Rezeptentwicklung von Tagen auf Minuten verkürzte. Menschen mussten weiterhin Proben und Vorläuferstoffe manuell einlegen, und der schnelle Modus lieferte kleinere, weniger gleichmäßige Kristalle als die aufwendig optimierten Rezepte. Zudem ist offen, ob sich die Rezepte auf andere Labore übertragen lassen, schreibt Erstautor Samuel Schmidgall.
Im Bereich Biologie baute Co-Scientist autonom eine Bildanalyse-Pipeline, die vorhersagt, welche Muster gentechnisch veränderte E.-coli-Kolonien bei unterschiedlichen chemischen Konzentrationen bilden. Die mit Gemini‑3‑Pro-Image generierten Vorhersagen stimmten laut der Studie bei drei von vier Formmerkmalen mit unveröffentlichten Laborergebnissen überein. Die Forscher räumen ein, dass das System lediglich zwischen bekannten Bedingungen schlussfolgert, nicht aber Vorhersagen für gänzlich neue Systeme trifft. Letzteres wäre der deutlich größere Durchbruch.
Ein Informatik-Experiment lief vollständig ohne menschliches Eingreifen: Co-Scientist entwarf autonom “Agent_H”, eine medizinische KI-Architektur, die eingehende Anfragen klassifiziert, parallel Dutzende Antwortkandidaten generiert und diese verfeinert. Nach Korrektur für überlange Antworten übertraf Agent_H laut der Studie sechs Frontier-Modelle auf Gesundheits-Benchmarks, darunter GPT-5 und Claude Opus 5.
Allerdings relativiert die menschliche Evaluation die Benchmark-Ergebnisse erheblich: In einer Bewertung durch drei Fachärzte wurden die Antworten in neun Kategorien beurteilt. Einen statistisch signifikanten Vorteil gegenüber dem Basismodell Gemini 3.1 Pro zeigte Agent_H nur in einer davon: bei der geringeren Gefahr potenziell schädlicher Antworten.
Zudem stimmten die automatischen Benchmark-Bewerter nur schwach mit den ärztlichen Urteilen überein. Hohe Scores in solchen Benchmarks bedeuten daher nicht automatisch, dass ein System aus klinischer Sicht bessere Antworten liefert, so die Forscher. Das wirft grundsätzliche Fragen zur Aussagekraft solcher Benchmarks auf.
Zuverlässigkeitsmodule drücken Halluzinationsrate auf 4 Prozent
Ein zentrales Problem LLM-basierter autonomer Forschungssysteme ist KI-Bullshit: Wenn ein KI-Agent für gute Resultate belohnt wird, hat er einen Anreiz, Ergebnisse schlicht zu erfinden. Bisherige Analysen dokumentierten Fabrikationsraten von 80 bis 100 Prozent bei bestehenden Systemen, so die Forscher.
Co-Scientist begegnet dem auf zwei Wegen: Zum einen wird das System bestraft, wenn es erfundene oder abgeschriebene Inhalte produziert. Zum anderen gleicht ein separates Prüfmodul alle Zahlenangaben im fertigen Text automatisch mit den tatsächlichen Ergebnissen des ausgeführten Codes ab.
In einer Doppelblindstudie mit 30 Fachexperten und 450 unabhängigen Reviews prüften die Forscher 150 autonom generierte Forschungsarbeiten. Mit aktivierten Zuverlässigkeitsmodulen erfand Co-Scientist in vier Prozent der Fälle wichtige Ergebnisse. Ohne diese Module lag die Quote bei 46 Prozent, beim Vergleichssystem sogar bei 90 Prozent.
Komplett frei erfundene Daten kamen bei Co-Scientist gar nicht vor, beim Vergleichssystem dagegen in 44 Prozent der Arbeiten. Deutlich abgeleitete oder plagiatsnahe Inhalte sanken von 60 Prozent beim Vergleichssystem auf 16 Prozent. Eine integrierte Sicherheitsarchitektur lehnte zudem 98,7 Prozent potenziell schädlicher Forschungsrichtungen ab.
Trotz der Verbesserungen bei der Genauigkeit beobachteten die Forscher weiterhin Restfehler: Das System neige zu selektivem Berichten und schreibe laut Schmidgall “hochplausible Methoden ins Paper, die nicht mit dem tatsächlichen Code übereinstimmten.”
Vom Laborassistenten zum autonomen Forscher ist es noch weit
Die Forscher sehen in den Ergebnissen insgesamt weitere Fortschritte in Richtung geschlossener Multi-Agenten-KI-Systeme, die sich durch experimentelles Feedback iterativ selbst verbessern und so reale wissenschaftliche Forschung beschleunigen sollen. Schmidgall selbst räumt ein, dass, bei aller Begeisterung für das Potenzial von LLMs, “ein langer Weg vor uns liegt, bevor KI-Systeme die physischen Realitäten der Wissenschaft bewältigen können”.
Das Paper trifft dennoch den Nerv der Zeit: Automatisierte Forschung gilt derzeit als einer der vielversprechendsten Anwendungsbereiche für KI. OpenAI etwa will im Herbst ein KI-Agentensystem vorstellen, das autonom mindestens auf dem Niveau eines Praktikanten forschen kann. Eine grundlegende Debatte ist dabei, ob die aktuellen LLM-basierten KI-Systeme wirklich neues Wissen entdecken können oder lediglich in Daten implizit vorhandenes Wissen explizit machen.
