Neue Methode verbessert LLMs bei der Vorhersage von Antwortverteilungen

Eine neue Technik namens Evi-DA verspricht, die Genauigkeit von großen Sprachmodellen (LLMs) bei der Vorhersage von Antwortverteilungen in Multiple-Choice-Fragen deutlich zu erhöhen. Im Gegensatz zu bisherigen Ansätzen, die oft instabil sind und bei kulturellen oder domänenspezifischen Änderungen versagen, nutzt Evi-DA echte Daten aus der World Values Survey, um die Verteilung der Antworten eines Ziellandes zu schätzen.

Der Ansatz arbeitet in zwei Schritten. Zunächst holt das Modell relevante Umfragefragen und deren Antwortverteilungen aus der World Values Survey. Anschließend wird ein grobes Welzel-Wert-Signaturprofil für jede Antwortoption erstellt, das die kulturellen Präferenzen des Landes widerspiegelt. Auf dieser Basis kann das Modell die erwartete Antwortverteilung für die gegebene Frage in einem strukturierten Format vorhersagen.

Um die Qualität der Vorhersagen zu sichern, wird das Modell mit einer zweistufigen Pipeline trainiert. Reinforcement Learning optimiert dabei Belohnungen, die auf den Umfrageergebnissen basieren und die Genauigkeit der Zwischenwerte, die Richtigkeit der Endverteilung, die Struktur der Ausgabe und die Reduzierung kultureller Verzerrungen fördern. In umfangreichen Benchmarks, sowohl innerhalb als auch außerhalb des Trainingsdatensatzes, reduziert Evi-DA die Jensen‑Shannon‑Divergenz zwischen vorhergesagten und tatsächlichen Verteilungen im Vergleich zu starken Baselines um bis zu 44 %.