Benchmark-Alignment für Sprachmodelle: Präferenzbasierte Bewertung
In einer wegweisenden Studie wird gezeigt, wie man die gängigen Leistungsbenchmarks von Sprachmodellen an echte Nutzerpräferenzen anpassen kann. Durch die gezielte Nutzung von nur wenigen Leistungsdaten wird ein Verfahren entwickelt, das bestehende Benchmarks automatisch aktualisiert und so neue, statische Testsets erzeugt, die die Paarpräferenzen von Modellen in konkreten Anwendungsszenarien vorhersagen.
