Neues Tool UMPIRE verbessert Unsicherheitsmessung bei multimodalen Sprachmodellen

Multimodale Large Language Models (MLLMs) können zwar beeindruckende Ergebnisse liefern, aber sie erzeugen oft plausible, aber fehlerhafte Ausgaben. Das erschwert ihre zuverlässige Nutzung in kritischen Anwendungen. Ein präziser Unsicherheitswert könnte solche fehlerhaften Anfragen an Menschen oder größere Modelle weiterleiten und damit die Gesamtleistung steigern.

Der neue Ansatz UMPIRE ist ein trainingsfreies Unsicherheitsquantifizierungsframework, das ohne externe Hilfsmittel auskommt. Es nutzt ausschließlich die internen Modalitätsfeatures des Modells und funktioniert effizient über Bild-, Audio- und Video‑Text‑Eingaben sowie bei nicht‑textuellen Ausgaben wie Bild- und Audiogenerierung.

UMPIRE berechnet den „incoherence‑adjusted semantic volume“ der von einem MLLM erzeugten Antworten. Dieser Wert erfasst sowohl die globale semantische Vielfalt der Stichproben als auch die lokale Inkohärenz, basierend auf dem internen Vertrauensmaß des Modells. Die Autoren stellen Unsicherheits­desiderata für MLLMs vor und liefern eine theoretische Analyse, die die Designentscheidungen von UMPIRE begründet.

Umfangreiche Experimente zeigen, dass UMPIRE die Fehlererkennung und Unsicherheitskalibrierung in Bild-, Audio- und Video‑Text‑Benchmarks deutlich über den bisherigen Metriken liegt – auch bei adversarialen und Out‑of‑Distribution‑Szenarien. Darüber hinaus demonstriert das Verfahren seine Generalisierbarkeit auf Aufgaben ohne Textausgabe, wie die Generierung von Bildern und Audiodateien.