Mit Halluzinationen in multimodalen LLMs wirksam umgehen – CHAIR-DPO-Ansatz

Multimodale Large Language Models (MLLMs) gelten als einheitliche Schnittstelle, die Aufgaben aus NLP und Computer Vision gleichermaßen bewältigen kann. Trotz ihrer beeindruckenden Leistungen bei vielen Benchmarks bleibt ein hartnäckiges Problem bestehen: MLLMs neigen dazu, Halluzinationen zu erzeugen – Antworten, die nicht im Bildmaterial verankert sind.

In der vorliegenden Arbeit wird das Phänomen als ein Alignment‑Problem betrachtet. Ziel ist es, das Modell so zu steuern, dass es Inhalte ohne Halluzinationen bevorzugt. Anstatt komplexer Pipelines und proprietärer Modelle zu nutzen, greift die Studie auf die etablierte CHAIR‑Metrik zurück, die ursprünglich zur Messung von Halluzinationen in Bildunterschriften entwickelt wurde.

Durch die Verwendung von CHAIR zur Unterscheidung von Gewinner‑ und Verlierer‑Antworten (nicht‑halluziniert bzw. halluziniert) wird ein Direct Preference Optimization (DPO) – Verfahren angewendet, um handelsübliche MLLMs zu verfeinern. Das Ergebnis, genannt CHAIR‑DPO, reduziert die Anzahl halluzinierter Antworten signifikant auf mehreren Halluzinations‑Benchmarks und zeigt damit die Wirksamkeit eines CHAIR‑basierten Rewards.

Der Quellcode sowie die trainierten Modelle stehen öffentlich auf GitHub zur Verfügung: https://github.com/aimagelab/CHAIR-DPO.