Robuste KI-Bewertung: Maximallotterien für faire Modellwahl

Eine neue Veröffentlichung auf arXiv präsentiert einen innovativen Ansatz zur Bewertung von Sprachmodellen, der die üblichen Ranglisten über den Weg wirft und stattdessen pluralistische Gewinner sets hervorhebt. Der Autor kritisiert die herkömmliche Praxis, bei der Paare von Antworten gegeneinander bewertet werden und die daraus resultierenden Bradley‑Terry‑Ranglisten heterogene Präferenzen in eine einzige Gesamtordnung zwängen.

Die klassische Methode führt zu einer Vereinfachung, die wichtige soziale Wahlprinzipien verletzt: unterschiedliche Nutzerpräferenzen werden zu einer einzigen Reihenfolge zusammengefasst, obwohl sie nicht zwingend kompatibel sind. Stattdessen bietet die Theorie der maximalen Lotterien einen Ansatz, der Paare von Präferenzen aggregiert, ohne Annahmen über deren Struktur zu treffen.

Allerdings zeigt die Studie, dass maximale Lotterien sehr empfindlich auf Präferenzheterogenität reagieren. Sie können Modelle bevorzugen, die in bestimmten Aufgaben oder bei bestimmten Nutzergruppen stark unterlegen sind, und damit die Fairness untergraben. Um diesem Problem entgegenzuwirken, wird ein robuster Lotterie-Ansatz vorgestellt, der die schlechteste mögliche Leistung unter plausiblen Verschiebungen der Präferenzdaten optimiert.

Auf umfangreichen Präferenzdatensätzen liefert die robuste Lotterie deutlich verlässlichere Gewinnraten über die gesamte Annotatorverteilung hinweg und identifiziert dabei stabile Spitzenmodelle. Durch den Wechsel von Ranglisten zu pluralistischen Gewinnergruppen eröffnet dieser Ansatz einen principienbasierten Schritt hin zu einem Ökosystem ergänzender KI-Systeme, die das gesamte Spektrum menschlicher Vorlieben abdecken.