XChoice: Erklärbares KI‑Mensch‑Alignment in Entscheidungsprozessen

Die neue Methode XChoice liefert ein transparentes Verfahren, um die Übereinstimmung von KI‑ und menschlichen Entscheidungen in komplexen, regelgebundenen Szenarien zu messen. Im Gegensatz zu herkömmlichen Kennzahlen wie Genauigkeit oder F1‑Score nutzt XChoice ein mechanismusbasiertes Entscheidungsmodell, das sowohl menschliche Daten als auch von großen Sprachmodellen (LLM) generierte Entscheidungen einbezieht.

Durch die Anpassung des Modells an die beobachteten Entscheidungen werden interpretierbare Parameter geschätzt, die die relative Bedeutung der Entscheidungsfaktoren, die Sensitivität gegenüber Einschränkungen und die impliziten Kompromisse widerspiegeln. Die Übereinstimmung zwischen KI und Mensch wird anschließend durch einen Vergleich dieser Parametervektoren über verschiedene Modelle, Optionen und Bevölkerungsgruppen hinweg bewertet.

Ein Anwendungsbeispiel aus der Praxis zeigt, wie XChoice die tägliche Zeitplanung von Amerikanern anhand der American Time Use Survey (ATUS) analysiert. Dabei wurden signifikante Unterschiede in der Alignment‑Qualität zwischen Modellen und Aktivitäten festgestellt, wobei besonders bei schwarzen und verheirateten Personen auffällige Missalignments auftraten. Diese Erkenntnisse ermöglichen gezielte Verbesserungsmaßnahmen.

Die Robustheit von XChoice wurde durch eine Invariantenanalyse bestätigt, und die Wirksamkeit einer gezielten Minderung mittels Retrieval‑Augmented‑Generation (RAG) wurde erfolgreich demonstriert. Insgesamt bietet XChoice ein umfassendes, mechanismusbasiertes Messinstrument, das über reine Ergebnisabgleiche hinausgeht und konkrete Ansatzpunkte für die Optimierung von KI‑Systemen liefert.