Kausales Decoding reduziert Halluzinationen bei multimodalen Sprachmodellen

Multimodale große Sprachmodelle (MLLMs) liefern beeindruckende Beschreibungen von Bild‑Text‑Aufgaben, doch sie neigen häufig dazu, Objekte zu erwähnen, die im Bild nicht vorhanden sind. Diese „Halluzination“ untergräbt die Zuverlässigkeit solcher Systeme in der Praxis.

Frühere Ansätze haben meist heuristische Strafen, nachträgliche Korrekturen oder generische Decoding‑Anpassungen eingesetzt. Diese Maßnahmen greifen nicht direkt auf die Mechanismen ein, die die Halluzination auslösen, und führen daher zu begrenzten Verbesserungen.

Die neue Methode nutzt ein kausales Decoding‑Framework, das gezielte kausale Interventionen während der Textgenerierung einsetzt, um unerwünschte Objekt‑Erwähnungen zu unterdrücken. Durch die Umgestaltung der Decoding‑Dynamik werden spurious dependencies abgeschwächt, was die Anzahl falscher Objekt‑Tokens reduziert, ohne die beschreibende Qualität zu beeinträchtigen. In umfangreichen Captioning‑ und QA‑Benchmarks senkt das Verfahren die Halluzinationsrate deutlich und erzielt gleichzeitig einen branchenführenden Grad an Glaubwürdigkeit, ohne die Gesamtqualität des Outputs zu verschlechtern.