LLM‑Bias reduzieren: Debiasing‑DPO senkt Verzerrungen um 84 %

In der heutigen Zeit werden große Sprachmodelle (LLMs) vermehrt für Entscheidungen mit hohem Risiko eingesetzt. Doch ihre Empfindlichkeit gegenüber unwichtigen Kontextinformationen kann zu schädlichen Verzerrungen führen – ein Problem, das besonders bei der Bewertung von Lehrkräften relevant ist, da voreingenommene Einschätzungen deren berufliche Entwicklung beeinträchtigen können.

Eine neue Studie nutzt das umfangreichste öffentlich verfügbare Datenset von US‑Klassenraum‑Transkripten (NCTE) zusammen mit Experten‑Rubrik‑Bewertungen, um die Robustheit von LLMs gegenüber „spurious“ sozialen Kontexten zu untersuchen. Sie testet sieben moderne Modelle in sieben Kategorien von irrelevanten Kontexten, darunter Lehrerfahrung, Bildungsniveau, demografische Identität und manipulative Framing‑Techniken. Die Ergebnisse zeigen, dass solche Kontextinformationen die Vorhersagen um bis zu 1,48 Punkte auf einer siebenstufigen Skala verschieben können – und dass größere Modelle manchmal empfindlicher reagieren, obwohl sie insgesamt genauer sind.

Standard‑Ansätze wie Prompt‑Engineering und herkömmliche Direct Preference Optimization (DPO) erwiesen sich als weitgehend unzureichend. Die Forscher stellen daher „Debiasing‑DPO“ vor, ein selbstüberwachtes Trainingsverfahren, das neutrale Begründungen, die ausschließlich aus der Anfrage stammen, mit den verzerrten Begründungen, die zusätzlich mit spurious Kontext generiert werden, kombiniert. Durch die Ergänzung mit einer überwachten Feinabstimmung auf echte Labels wird die Vorhersagegenauigkeit nicht nur erhalten, sondern sogar verbessert.

Bei der Anwendung auf Llama‑3B/8B und Qwen‑3B/7B Instruct‑Modelle senkt Debiasing‑DPO die Verzerrung im Durchschnitt um 84 % und steigert die Genauigkeit um 52 %. Diese Fortschritte markieren einen bedeutenden Schritt hin zu faireren und zuverlässigeren KI‑Entscheidungsprozessen in sensiblen Bereichen wie der Bildungsbewertung.