LLM-basierte Empfehlungssysteme: Unsicherheit und Fairness im Fokus

Große Sprachmodelle (LLMs) ermöglichen leistungsstarke Zero‑Shot‑Empfehlungen, indem sie umfangreiches Kontextwissen nutzen. Doch die damit einhergehende Vorhersageunsicherheit und eingebettete Vorurteile stellen die Zuverlässigkeit und Fairness dieser Systeme in Frage. In einer neuen Studie wird untersucht, wie Unsicherheits- und Fairnessbewertungen die Genauigkeit, Konsistenz und Vertrauenswürdigkeit von LLM‑generierten Empfehlungen beeinflussen.

Die Autoren stellen ein Benchmark mit sorgfältig ausgewählten Metriken vor und haben einen Datensatz mit acht demografischen Attributen (31 kategoriale Werte) für die Bereiche Filme und Musik annotiert. Durch detaillierte Fallstudien wird die Vorhersageunsicherheit mittels Entropie gemessen. Dabei zeigte sich, dass Googles Gemini 1.5 Flash systematisch unfair für bestimmte sensible Attribute ist; die gemessenen similarity‑based Gaps betragen SNSR 0,1363 und SNSV 0,0507. Diese Ungleichheiten bleiben auch bei Prompt‑Störungen wie Tippfehlern oder mehrsprachigen Eingaben bestehen.

Weiterhin integrieren die Forscher eine personalitätsbasierte Fairness‑Analyse in die RecLLM‑Evaluationspipeline. Dadurch lassen sich bias‑Muster, die mit Persönlichkeitsprofilen zusammenhängen, aufdecken und die Spannungsfelder zwischen Personalisierung und Gruppenfairness sichtbar machen. Die vorgeschlagene, unsicherheitsbewusste Evaluationsmethode liefert neue Einblicke in tiefe Unsicherheitsfälle und führt ein fairness‑informiertes Benchmark, das Erklärbarkeit und Gerechtigkeit in LLM‑Empfehlungen fördert.

Die Ergebnisse legen eine solide Basis für sicherere, interpretierbarere RecLLMs dar und regen zu weiterführenden Arbeiten an Multi‑Model‑Benchmarks sowie adaptiven Kalibrierungen für vertrauenswürdige Deployments an.