DepthCharge: domänenunabhängiges Tool misst Tiefenwissen von Sprachmodellen

Ein neues Forschungswerkzeug namens DepthCharge eröffnet die Möglichkeit, die Tiefe des Wissens großer Sprachmodelle (LLMs) in beliebigen Fachgebieten systematisch zu prüfen. Während herkömmliche Tests oft nur Oberflächenkompetenz zeigen, liefert DepthCharge ein detailliertes Bild davon, wie weit ein Modell in der Lage ist, präzise Antworten zu liefern, wenn es mit aufeinanderfolgenden, thematisch vertiefenden Fragen konfrontiert wird.

DepthCharge stützt sich auf drei zentrale Innovationen: Erstens generiert es adaptive Nachfragen, die sich an den Begriffen orientieren, die das Modell tatsächlich erwähnt. Zweitens erfolgt die Faktenprüfung in Echtzeit anhand vertrauenswürdiger Quellen, sodass die Richtigkeit der Antworten unmittelbar überprüft werden kann. Drittens werden Überlebensstatistiken mit konstanten Stichprobengrößen für jede Tiefe ermittelt, wodurch ein vergleichbares Maß für die Wissensstärke entsteht.

Ein großer Vorteil des Ansatzes ist seine Domänenunabhängigkeit. Das Framework kann in jedem Fachgebiet eingesetzt werden, das öffentlich verifizierbare Fakten bietet, ohne dass zuvor spezialisierte Testsets oder Expertenwissen erforderlich sind. Die Ergebnisse sind stets relativ zum verwendeten Evaluationsmodell, was DepthCharge zu einem Werkzeug für vergleichende Bewertungen macht, nicht zur absoluten Zertifizierung.

In einer empirischen Studie wurden vier sehr unterschiedliche Bereiche – Medizin, Verfassungsrecht, Antikes Rom und Quantencomputing – mit fünf führenden Sprachmodellen getestet. Die Messung des erwarteten gültigen Tiefenwerts (Expected Valid Depth, EVD) zeigte Werte zwischen 3,45 und 7,55, wobei die Modellplatzierungen je nach Fachgebiet stark variierten. Kein Modell dominierte alle Bereiche gleichermaßen.

Eine Kosten-Leistungs-Analyse ergab, dass teurere Modelle nicht zwangsläufig ein tieferes Wissen besitzen. Dies unterstreicht, dass die Wahl des Modells stärker von den spezifischen Anforderungen des Anwendungsfalls abhängt als von der Anschaffungskosten.

DepthCharge bietet damit Forschern und Entwicklern ein leistungsfähiges Instrument, um die Stärken und Schwächen von LLMs in konkreten Fachgebieten zu identifizieren und gezielt zu verbessern. Durch die Möglichkeit, Wissenstiefe über verschiedene Domänen hinweg zu vergleichen, kann die Weiterentwicklung von Sprachmodellen künftig noch zielgerichteter erfolgen.