Ein ehemaliger OpenAI-Mitarbeiter gründet ein Startup für hochwertige Trainingsdaten, weil er nicht an die Generalisierungsfähigkeit großer Sprachmodelle glaubt.
Andrew Ho verlässt OpenAI nach eigenen Angaben nach acht Monaten. Große Sprachmodelle verallgemeinerten schlecht und zeigten selbst in stark finanzierten Bereichen wie Programmierung ungleichmäßige Fähigkeiten, so seine Begründung.
Das Problem seien unzureichende Trainingsdaten: Die meisten wirtschaftlich relevanten Fähigkeiten seien in bestehenden Datenangeboten kaum abgebildet.
“Die meiste Arbeit ist stark kontextabhängig und lässt sich nicht einfach in eine bewertbare Umgebung überführen. Selbst wenn wir einen ‘idealen Weg’ beobachten können, den ein Mensch eingeschlagen hat und den wir für gut halten, ist es schwierig zu beurteilen, ob alternative Wege zu guten oder schlechten Ergebnissen geführt hätten”, schreibt Ho.
Er rechnet damit, dass KI-Labore künftig mehr als 100 Milliarden Dollar für gezielte Datenakquise ausgeben müssen, da Skalierung allein nicht ausreiche. Ho ist zudem skeptisch gegenüber den hohen Bewertungen von Frontier-Labs wie OpenAI oder Anthropic. Diese seien chronisch unprofitabel, da sie ständig steigende Summen in neue Modelle investieren müssten, um gegen günstigere Konkurrenten wie Qwen oder Kimi zu bestehen.
Seine ersten Produkte konzentrieren sich auf zwei Bereiche: erstens Datensätze für komplexe wissenschaftliche Analysen in der Bioinformatik, bei denen selbst aktuelle Modelle wie GPT-5.6 Sol nur rund 30 Prozent Erfolgsquote erreichen; ein Thema, mit dem er sich bei OpenAI befasst hat. Zweitens Datensätze für alltägliche Laborarbeit, etwa wenn Forscher KI-Modellen Fotos von Experimenten zur Auswertung vorlegen. Später sollen Chemie, Materialwissenschaft, Gesundheitswesen und generell Wissensarbeit folgen.
Wird LLM-basierte KI genereller oder spezialisierter?
Unterstützung für diese skeptische Sicht kommt von Adam Hunt, Forscher an der Universität Cambridge. Hunt beschreibt, wie er bei LLMs von einer optimistischen zu einer pessimistischeren Einschätzung gewechselt ist.
Seine These: Die neuesten Modelle werden nicht vielseitiger, sondern spezialisierter. Fähigkeiten bei Programmierung und komplexer Mathematik wachsen, während andere Bereiche wie Sprachqualität und einfache Logik stagnieren oder sich sogar verschlechtern. Das passt zu Hos Beobachtung der ungleichmäßigen Fähigkeiten.
Hunt erklärt das damit, dass Reinforcement Learning auf einem Gebiet wie Code zuverlässig funktioniere, weil dort klare Belohnungssignale und vollständige Trainingsdaten existieren. In anderen Bereichen fehlen diese Daten. Die frühen Fortschritte großer Sprachmodelle, und die scheinbare Generalisierungsfähigkeit durch reines Skalieren seien ein Nebeneffekt des breiten Textkorpus gewesen, nicht echtes allgemeines Verständnis. Das unterstützt Hos Startup-Idee, spezialisierte Trainingsdaten aufzubauen.
Die Generalisierungsdebatte bleibt offen
Im Kern geht es weiter um die beständig wiederkehrende Frage, ob Sprachmodelle Fähigkeiten entwickeln können, die über die Wiedergabe und Kombination ihrer Trainingsdaten hinausreichen, besonders in Bereichen, die sich nicht automatisch überprüfen lassen. Unter Wissenschaftlern gibt es dazu keinen Konsens. Auch Hunt schätzt seine eigene Sicherheit auf nur etwa 40 Prozent und räumt ein, dass technische Fortschritte seine These widerlegen könnten, etwa durch eine Kombination spezialisierter KI-Modelle zu einer Art generelleren Intelligenz.
Tom Zahavy von Google Deepmind liefert in einem aktuellen Positionspapier “LLMs can’t jump” eine strukturelle Erklärung für diese Ungleichmäßigkeit: Sprachmodelle beherrschten Deduktion (logisches Ableiten) und Induktion (Mustererkennung), scheiterten aber an kreativer Abduktion, dem Erfinden einer Ursache, für die es sprachlich noch keine Vorlage gibt. Als möglichen Ausweg nennt er handlungssteuerbare Weltmodelle, die kontrafaktische Experimente erlauben. Große Sprachmodelle könnten dabei wichtige Bestandteile solcher weiterführenden Systeme bleiben, auch wenn sie allein an ihre Grenzen stoßen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den “KI Radar”‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
