LLM-Judges: Kalibrierung durch gezielte Rauschinterventionen

In der Forschung zu automatisierten Urteilsfindern kommen immer häufiger große Sprachmodelle (LLMs) zum Einsatz, insbesondere wenn nur wenige gelabelte Daten verfügbar sind. Diese Systeme sind jedoch stochastisch und neigen dazu, übermäßig zuversichtlich zu sein, was die Entscheidung über ihre Einsatzfähigkeit erschwert, wenn externe Referenzdaten knapp sind.

Um dieses Problem anzugehen, schlägt die neue Studie ein praktisches Kalibrierungsprotokoll vor, das auf kontrollierten Eingabeinterventionen basiert. Dabei wird geprüft, ob die Leistung des Modells bei zunehmender Rauschintensität statistisch signifikant abnimmt. Der Ansatz nutzt einen schiefe-basierten Hypothesentest über wiederholte Versuche und setzt für tabellarische Daten Signal‑zu‑Rausch‑Verhältnisse (SNR) sowie für Textdaten lexikalische Störungen ein.

Die Experimente wurden an UCI‑Tabellenbenchmark‑Datensätzen sowie an vier Textklassifikationsdatensätzen durchgeführt. Die Ergebnisse zeigen einen deutlichen Modus‑Unterschied: Textbasierte Urteilsmodelle degradieren wie erwartet, während die meisten tabellarischen Datensätze keine signifikante Leistungsverschlechterung aufweisen, selbst bei stark reduziertem Signal‑zu‑Rausch‑Verhältnis. Interessanterweise ist die Modellleistung bei Datensätzen, die auf Rauschinterventionen unempfindlich reagieren, generell niedriger.

Die Autoren stellen eine reproduzierbare Methodik und ein Reporting‑Protokoll vor, das robuste Kalibrierung von LLM‑Urteilssystemen unter Verteilungsshift ermöglicht. Diese Arbeit liefert damit einen wichtigen Beitrag zur sicheren und nachvollziehbaren Nutzung von Sprachmodellen als automatisierte Juroren.