Neue Methode reduziert widersprüchliche Erklärungen in Empfehlungssystemen

In der Welt der KI-basierten Empfehlungssysteme haben Forscher ein neues Problem identifiziert: Erklärungen, die zwar sprachlich flüssig und faktisch korrekt sind, aber die Präferenzen der Nutzer widersprechen. Diese „präferenzinkonsistenten“ Erklärungen führen zu logisch gültigem, aber wenig überzeugendem Feedback und werden von herkömmlichen Metriken wie Halluzination oder Treue nicht erkannt.

Um dieses Problem zu lösen, wurde das Framework PURE entwickelt. PURE arbeitet nach dem Prinzip „Auswählen – Dann Generieren“ und greift nicht nur auf die Textgenerierung ein, sondern wählt gezielt kompakte, mehrstufige Beweispfade aus, die sowohl faktisch fundiert als auch mit den individuellen Präferenzen der Nutzer übereinstimmen. Dabei werden Nutzerabsicht, Spezifität und Vielfalt berücksichtigt, um generische, wenig personalisierte Belege zu vermeiden.

Die ausgewählten Beweise werden anschließend in die Generierung von großen Sprachmodellen eingebettet, wobei die strukturellen Beziehungen erhalten bleiben. Zur Messung der Präferenzinkonsistenz wurde ein neues, nutzerzentriertes Feature-Level-Metric eingeführt, das Abweichungen aufzeigt, die herkömmliche Faktenprüfungen übersehen.

Experimentelle Tests auf drei realen Datensätzen zeigen, dass PURE die Anzahl der widersprüchlichen Erklärungen und faktischen Halluzinationen deutlich reduziert, ohne die Genauigkeit der Empfehlungen, die Qualität der Erklärungen oder die Rechenleistung zu beeinträchtigen. Diese Ergebnisse unterstreichen, dass vertrauenswürdige Erklärungen nicht nur faktisch korrekt, sondern auch mit den Präferenzen der Nutzer abgestimmt sein müssen.