Google präsentiert FACTS-Benchmark: 70 % Genauigkeit – ein Weckruf für KI‑Unternehmen

In der Welt der generativen KI gibt es zahlreiche Benchmarks, die die Leistungsfähigkeit von Modellen bei Aufgaben wie Programmieren, Befolgen von Anweisungen oder Web‑Surfen testen. Ein entscheidender Mangel dieser Tests ist jedoch, dass sie nicht messen, wie faktisch korrekt die Antworten eines Modells sind – insbesondere wenn es um Informationen aus Bildern oder Grafiken geht.

Für Branchen, in denen Präzision unverzichtbar ist – etwa Recht, Finanzen und Medizin – war das Fehlen eines einheitlichen Messkriteriums für Faktizität ein kritischer Blindpunkt. Google hat das geändert: Das FACTS‑Benchmark‑Suite, entwickelt von Google’s FACTS‑Team und der Datenwissenschaftseinheit Kaggle, bietet ein umfassendes Evaluierungsframework, das genau dieses Problem adressiert.

Die dazugehörige Forschungsarbeit definiert Faktizität in zwei klaren Szenarien: „kontextuelle Faktizität“, bei der Antworten auf bereitgestellte Daten gestützt werden, und „Welt‑Wissens‑Faktizität“, bei der Informationen aus dem Gedächtnis oder dem Web abgerufen werden. Obwohl Gemini 3 Pro die Spitzenposition einnimmt, erreichte kein Modell – darunter auch GPT‑5 und Claude 4.5 Opus – einen 70‑Prozent‑Genauigkeitsschwellenwert über die gesamte Suite hinweg.

Für technische Leiter bedeutet das, dass die Ära des „Vertrauens, aber prüfe“ noch lange nicht vorbei ist. Der neue Benchmark liefert ein klares Signal: Unternehmen müssen weiterhin auf robuste Validierungsmechanismen setzen, um die Zuverlässigkeit ihrer KI‑Lösungen sicherzustellen.