SCoOP: Neue Methode zur Unsicherheitsquantifizierung bei Vision‑Language‑Modellen

Die Kombination mehrerer Vision‑Language‑Modelle (VLMs) kann die multimodale Logik und die Robustheit von KI-Systemen deutlich steigern. Gleichzeitig führt die Aggregation von heterogenen Modellen jedoch zu einer erhöhten Unsicherheit und erhöht das Risiko von Halluzinationen.

Um diesem Problem zu begegnen, wurde SCoOP (Semantic‑Consistent Opinion Pooling) entwickelt – ein trainingsfreies Verfahren zur Unsicherheitsquantifizierung in Multi‑VLM‑Systemen. SCoOP nutzt eine unsicherheitsgewichtete lineare Meinungsfusion, die die kollektive, systemweite Unsicherheit explizit erfasst. Dadurch lassen sich Halluzinationen zuverlässig erkennen und bei stark unsicheren Beispielen eine Abstinenz auslösen.

In der Praxis zeigte SCoOP beeindruckende Ergebnisse auf der ScienceQA‑Benchmark: Für die Halluzinationsdetektion erreichte es einen AUROC von 0,866, was einer Steigerung von etwa 10 – 13 % gegenüber den besten Baselines (0,732 – 0,757) entspricht. Für die Abstinenzleistung erzielte SCoOP einen AURAC von 0,907, also 7 – 9 % besser als die Vergleichsverfahren (0,818 – 0,840). Trotz dieser Leistungssteigerungen verursacht SCoOP lediglich Mikrosekunden‑Überlagerungen bei der Aggregation – ein vernachlässigbarer Aufwand im Vergleich zu den üblichen VLM‑Inferenzzeiten von mehreren Sekunden.

Die Ergebnisse zeigen, dass SCoOP ein effizientes und prinzipielles Mittel zur Unsicherheits‑bewussten Aggregation bietet und damit die Zuverlässigkeit multimodaler KI‑Systeme nachhaltig verbessert.