Wie aus Daten ein KI-Modell entsteht – und wie es funktioniert

ChatGPT, Claude, Gemini und Co. sind längst im Mainstream angekommen. Millionen Nutzer tippen täglich Anfragen, die von den Chatbots bearbeitet werden. Aber wie funktioniert eigentlich so ein KI-Modell, und wie wird einem LLM Leben eingehaucht?

Auch wenn wir uns inzwischen daran gewöhnt haben, mit wenigen Worten beeindruckende Texte, Bilder oder Tabellen zu erstellen, wirkt ein modernes KI-Modell noch immer ein wenig wie Zauberei. Selbst bei komplexen Fragen bekommt man nach wenigen Sekunden gut strukturierte und flüssig formulierte Antworten serviert.

Ein Blick hinter die Kulissen offenbart jedoch, dass von Magie keine Rede sein kann. Stattdessen steckt hinter jedem großen Sprachmodell eine klare Abfolge bestimmter Arbeitsschritte – und vor allem eine Menge Statistik.

Daten: Die Grundlage für jedes KI-Modell

Die Basis von KI-Chatbots wie ChatGPT oder Claude sind gewaltige Mengen an Daten. Diese bilden sozusagen den Rohstoff, aus dem ein LLM (Large Language Model) geformt wird. Laut dem Fraunhofer-Institut entsteht so erst einmal ein Grundverständnis von Sprache. Denn Sprachmodelle sind davon abhängig, einen Nutzer „verstehen“ und adäquat auf ihn reagieren zu können.

Zu Beginn sind die Datensätze möglichst vielfältig. Unter anderem werden die Modelle mit Internetseiten, Nachschlagewerken, Büchern, wissenschaftlichen Arbeiten, Programmcode und Forendiskussionen gefüttert. Auf diese Weise verleiben sie sich Billionen von Wörtern ein. Deshalb wissen KIs über die meisten Themen zumindest rudimentär Bescheid.

Entscheidend ist aber nicht allein die Menge, sondern vor allem auch die Qualität der Daten. Zu gewährleisten, dass diese etwas taugen, ist der zeitaufwendigste Teil jedes KI-Projekts. Die Daten müssen gesammelt, bereinigt, von Duplikaten befreit und je nach Verfahren beschriftet werden. Laut InnoGPT macht dieser Schritt bis zu 80 Prozent der gesamten Projektzeit aus. Und schon hier entscheidet sich, welche Probleme ein Modell später haben wird, denn Schieflagen im Trainingsmaterial wirken sich dauerhaft auf die Fähigkeiten eines KI-Modells aus.

So „denkt“ und funktioniert eine KI

Auch wenn sie mehr „lesen“ als jeder von uns es jemals könnte, besitzen LLMs ein anderes Verständnis von Sprache als wir Menschen. Mit Buchstaben und Wörtern kann ein Computer erst einmal wenig anfangen. Es wäre unpraktisch, sich für jede erlernte Sprache ein riesiges Vokabular draufzuschaffen, und einzelne Zeichen haben für sich genommen kaum eine Bedeutung. Anstatt in Wörtern oder Buchstaben zu denken, zerlegt eine KI Texte deshalb in kleine Einheiten – sogenannte Token. Diese Wortteile sind ein Kompromiss zwischen Quantität und Informationsgehalt.

In einem zweiten Schritt werden diese Token dann in Vektoren übersetzt, die im Fachjargon Embeddings genannt werden. Heruntergebrochen lässt sich sagen, dass Begriffe mit ähnlicher Bedeutung tendenziell auf nahe beieinanderliegenden Vektoren landen. Auf diese Weise versucht die KI, sich Zusammenhänge zu erklären. Neben der Art von Token spielt bei der Vektor-Zuordnung auch dessen Position im Satz eine Rolle.

Wie funktioniert KI-Training?

Steht diese Übersetzung von Sprache in Zahlen, kann das eigentliche Training beginnen. Beim Schreiben von Texten spielen KIs im Prinzip ein Ratespiel: Welches Token folgt als Nächstes? Dafür berechnen sie die Wahrscheinlichkeiten für sämtliche Token, die infrage kommen. Ähnlich wie beim Aufbau von Muskeln muss das Modell seine Übungen immer wieder durchführen. Es trifft eine Vorhersage, dann wird der Abstand zum tatsächlichen nächsten Wort gemessen, und anschließend werden die internen Parameter minimal nachjustiert. Das geht so lange, bis die Treffsicherheit irgendwann stimmt.

Aus diesen Trainingsabläufen ergeben sich immer bessere Werte für die Parameter. Aktuelle Systeme kommen teilweise auf Hunderte Milliarden dieser mathematischen „Gewichte“. Mehr Parameter bedeuten, dass komplexere Muster erkannt werden können. Zugleich steigen aber auch die Rechenkosten, und Antworten brauchen länger. Deshalb bieten viele Anbieter inzwischen die Wahl zwischen verschiedenen Modellen oder auch darüber, wie gründlich über eine Anfrage nachgedacht werden soll.

Wenn die Wahrscheinlichkeit berechnet wurde, entscheidet eine Dekodierungsstrategie darüber, welches Token tatsächlich ausgegeben wird. Mal wird schlicht das Token mit der höchsten Wahrscheinlichkeit gewählt, mal aus einer Gruppe der Favoriten ausgesucht. LLMs kommunizieren mit uns zwar über Sprache, sind im Kern aber mathematische Systeme.

An diesem Punkt ist ein Modell aber noch immer kein Chatbot, sondern eine reine Maschine zur Vervollständigung von Texten. Was jetzt folgt, ist das „Instruction Tuning“, bei dem das System lernt, Anweisungen tatsächlich zu befolgen. Im Anschluss wird es dann für konkrete Aufgaben oder Fachgebiete geschult. Hierfür hat sich ein ganzer Berufszweig gebildet: Menschen prüfen die Modelle immer wieder auf verschiedene Arten und bewerten die daraus resultierenden Ergebnisse.

Künstliche Intelligenz hat ihre Grenzen

Aus der Art, wie KI-Modelle trainiert werden, und aus ihrer Architektur, ergeben sich auch ihre Schwächen. Eine davon ist das Kontextfenster: Dieses bestimmt, wie viele Token ein Modell gleichzeitig berücksichtigen kann. Eingabe und Ausgabe teilen sich häufig diesen Platz, wer die KI also mit einem riesigen Dokument füttert, lässt eventuell kaum noch Raum für die Antwort.

Allerdings sind die Kapazitäten rasant gewachsen. In den Anfangstagen von ChatGPT waren es noch rund 4.000 Token, inzwischen können moderne KIs mit einer Million Token operieren (ein Token entspricht etwa vier Zeichen). Aber Vorsicht: Wird das Kontextfenster überlastet, neigen KIs zu Halluzinationen, weil sie eventuelle Lücken mit plausibel klingenden Vermutungen füllen.

Und genau das ist vermutlich der größte Schwachpunkt heutiger Chatbots. Ein Sprachmodell kann nicht wirklich denken, sondern es rechnet. Es erzeugt das statistisch plausibelste Wort, nicht das nachweislich richtige. Zudem werden erfundene Fakten mit derselben Überzeugung präsentiert wie korrekte. Hinzu kommt die Gefahr von Verzerrungen (auf Englisch „Bias“), die aus dem Trainingsmaterial stammen und sich im Nachhinein nur schwer herausfiltern lassen. Bei der Nutzung von KI sollte man diese Einschränkungen immer im Hinterkopf behalten.

Auch interessant: