Sogenannte Skills gelten als praktischer Weg, um KI-Agenten leistungsfähiger zu machen, ohne sie neu zu trainieren. Eine neue Studie zeigt, warum sie wirken und wo ihre Grenzen liegen.
Ein Skill ist im Kern eine kompakte Anleitung: Sie beschreibt, welche Schritte ein KI-Agent bei einer Aufgabe abarbeiten sollte, was er prüfen muss und welche typischen Fehler er vermeiden soll. Statt bei jeder neuen Aufgabe von vorn anzufangen, greift der Agent auf diese gespeicherten Erfahrungen zurück. Bislang wurde ihr Nutzen laut einer neuen Studie nur daran gemessen, ob ein Agent mit Skills mehr Aufgaben löst. Warum das so ist, blieb offen.
Ein Team von Forschenden der Princeton University, der UC San Diego und weiterer Hochschulen ist dieser Frage in kontrollierten Experimenten nachgegangen. Dafür werteten die Autoren die Handlungsverläufe von Agenten mit und ohne Skill bei identischen Aufgaben in 8.135 Testläufen aus.
Skills sind eine Handlungsanleitung, kein Wissensspeicher
Das zentrale Ergebnis: Skills helfen vor allem, weil sie den Agenten einen verlässlichen Ablauf vorgeben, nicht weil sie ihm fehlendes Faktenwissen liefern. Dieses “prozedurale Verankern” macht laut der Studie 65,7 Prozent der Fälle aus, in denen ein Agent mit Skill besser war als ohne. Direkte Wissensvermittlung half nur in 4,5 Prozent der getesteten Fälle.
Skills stabilisieren also primär das Handeln: welche Einrichtungsschritte laufen müssen, welche Werkzeuge in welcher Reihenfolge, welche Zwischenprüfungen nötig sind. Skills reduzieren so klar bestimmte Ausführungsfehler, etwa bei der Einrichtung der Arbeitsumgebung oder bei falschen Ausgabeformaten.
Skills schaffen aber auch eine neue Fehlerquelle: In zehn Prozent der Fälle wendet der Agent laut der Studie eine an sich brauchbare Anleitung mechanisch oder unpassend an. Und bei Aufgaben, die eine grundlegend andere Problemlösung erfordern, helfen falsch gewählte Skills selbstverständlich nicht. Interessanterweise ist ein genauer Treffer laut der Studie aber weder hinreichend noch notwendig, verwandte Skills liefern oft schon ausreichend Orientierung.
Ein zweiter Engpass ist aber genau dieses Auffinden des richtigen Skills: Wächst die Skill-Bibliothek von fünf auf 100 Einträge, fällt die Trefferpräzision bei der tatsächlichen Nutzung in den Tests von 29,6 auf 3,3 Prozent. Besonders ähnlich klingende Alternativen erschweren die Auswahl.
Die Forschenden plädieren als Folge dafür, Skill-Nutzung als Lebenszyklus zu verstehen: Bessere selbstlernende Agenten entstünden nicht durch mehr gespeicherte Erfahrungen, sondern durch verlässlichere Wege, diese zu erzeugen, abzurufen und anzuwenden.
