Mehr als oberflächliches Auslernen: Geometrisch stabile Entfernung von Halluzinationen in multimodalen LLMs

Multimodale Sprachmodelle sind leistungsfähig, doch sie neigen dazu, „Halluzinationen“ zu erzeugen – Beschreibungen von Objekten, die nicht existieren. Diese Fehler beeinträchtigen die Zuverlässigkeit und das Vertrauen in die generierten Inhalte.

Aktuelle Unlearning‑Ansätze versuchen, Halluzinationen zu unterdrücken, doch sie zeigen eine kritische Schwäche: sie führen nur zu einer oberflächlichen Suppression. Das Modell bleibt in scharfen Minima gefangen, sodass die Halluzinationen nach einer leichten Re‑Lernphase wieder auftauchen. Dieser „geometrische“ Instabilität fehlt es an nachhaltiger Stabilität.

Die neue Methode namens SARE (Sharpness‑Aware Robust Erasure) löst dieses Problem, indem sie Unlearning als gezieltes Min‑Max‑Optimierungsproblem formuliert. Durch einen Targeted‑SAM‑Mechanismus wird die Verlustlandschaft um halluziniertes Wissen gezielt abgeflacht, sodass das Modell robust gegen Parameter‑Störungen bleibt. Dadurch werden Halluzinationen dauerhaft entfernt, ohne die generelle Qualität der Ausgaben zu beeinträchtigen.

Umfangreiche Experimente zeigen, dass SARE die Wirksamkeit der Halluzinations‑Entfernung deutlich über den bisherigen Baselines hinaus verbessert. Gleichzeitig bleibt die generelle Leistungsfähigkeit des Modells erhalten, und die Unterdrückung von Halluzinationen hält auch nach Re‑Lern‑ und Parameter‑Updates beständig. Damit demonstriert SARE die Effektivität einer geometrisch stabilen Unlearning‑Strategie für multimodale LLMs.