Google Deepmind will mit einer kryptografischen Methode verhindern, dass KI-Modelle Testfragen vorab kennen. Ein Pilotprojekt mit dem Singapore AI Safety Institute und weiteren Partnern testet ein Gemini-Modell doppelblind.
Wenn ein Prüfling die Fragen vorab kennt, ist auch die beste Note wertlos. Dieses Bild nutzt Google Deepmind, um ein Kernproblem bei der Bewertung von KI-Modellen zu beschreiben: die sogenannte Benchmark-Kontamination. Hat ein Modell die Testfragen bereits während des Trainings gesehen, lassen sich die Ergebnisse nur eingeschränkt vertrauen.
Um das zu verhindern, kündigt Google Deepmind nach eigenen Angaben die erste doppelblinde Evaluierung eines proprietären Frontier-KI-Modells an. Externe Tests bleiben dabei in einer kryptografischen “Box”, sodass ein Modell diese Fragen später nicht nutzen kann, um sich vor dem Test gezielt zu optimieren.
Für das Pilotprojekt testet Google ein Modell der Reihe Gemini Flash Lite gegen vertrauliche Benchmarks.
Der Tradeoff, den die Methode auflösen soll
Hochsensible externe Evaluierungen erforderten bislang einen Kompromiss, so Deepmind. Entweder gaben die Prüfer ihre Test-Prompts heraus, wodurch der Modellanbieter die Fragen vorab sehen konnte. Oder der Anbieter übergab seine Modellgewichte und riskierte damit sein geistiges Eigentum. Ein jüngstes Beispiel dieses Dilemmas waren die verzögerten Evaluationen für den ARC-AGI-Benchmark von Anthropics Fable 5, da das KI-Unternehmen für seine stärksten Modelle eine 30-tägige Datenaufbewahrung erzwingt.
Die doppelblinde Evaluierung soll diesen Kompromiss beseitigen. Google setzt dafür Confidential Space aus dem Confidential-Computing-Portfolio von Google Cloud ein. Kryptografisch werde verifiziert, dass sowohl die externen Testdaten als auch das Modell für die jeweiligen Eigentümer privat bleiben. Der Prüfer sehe die Gemini-Gewichte nicht, und Google sehe die Test-Prompts nicht.
Bislang hätten Zero-Logging-Protokolle und vertragliche Schutzmaßnahmen die Vertraulichkeit externer Prompts sichergestellt. Die Ergänzung um technische und kryptografische Absicherungen bezeichnet das Unternehmen als bedeutenden Fortschritt bei der sicheren Modellbewertung.
Relevant vor allem für sensible Bereiche
Der kryptografische Nachweis soll Kontamination verhindern und sensible Daten schützen. Besonders wichtig sei dies laut Deepmind bei hochsensiblen Evaluierungen, etwa im Bereich Cybersicherheit oder bei Tests durch staatliche Stellen. Unabhängige Organisationen könnten fortgeschrittene Modelle so rigoros prüfen, ohne Datensouveränität oder Sicherheit aufzugeben.
Google hofft, dass der Versuch einen neuen Standard für die Modellaufsicht setzt und der Branche hilft, verlässlichere und breiter vertrauenswürdige KI-Systeme zu bauen. Details zur Methodik und zu den Ergebnissen nennt Google in einem technischen Bericht.
