Adaptive Confidence Refinement verbessert zuverlässige Audio-Visual-Fragenantworten

In der Forschung zu Audio‑Visual‑Fragenantworten (AVQA) wird zunehmend erkannt, dass ein Modell nicht nur korrekte Antworten liefern, sondern auch wissen muss, wann es sich unsicher ist. Das neue Konzept der „Reliable Audio‑Visual Question Answering“ (R‑AVQA) legt den Fokus darauf, lieber keine Antwort zu geben, als eine falsche zu liefern. Trotz hoher Genauigkeit der aktuellen AVQA‑Modelle fehlt bislang ein robustes Verfahren, das erkennt, wann die Vorhersage wahrscheinlich fehlerhaft ist, und daraufhin abstains.

Um dieses Problem zu lösen, wurde Adaptive Confidence Refinement (ACR) entwickelt – ein leichtgewichtiges Verfahren, das die Leistung von R‑AVQA deutlich steigert. Der Kern von ACR besteht darin, die Maximum‑Softmax‑Probability (MSP) als primäres Vertrauenssignal beizubehalten, aber bei Unzuverlässigkeit gezielt Eingabe‑angepasste Residualkorrekturen anzuwenden. Damit wird die Schwäche von MSP, das nur unter starker Kalibrierung Bayes‑optimal ist, kompensiert.

ACR nutzt zwei lernende Köpfe: Der Residual‑Risk‑Head prognostiziert kleine Korrekturen, die MSP nicht erfasst, während der Confidence‑Gating‑Head entscheidet, ob MSP vertrauenswürdig ist. Durch diese Kombination kann das Modell dynamisch entscheiden, ob es abstains oder eine Antwort gibt, und dabei die Genauigkeit erhöhen.

Experimentelle Ergebnisse und theoretische Analysen zeigen, dass ACR in allen getesteten Szenarien – sowohl bei in‑ als auch bei out‑of‑Distribution‑Daten sowie bei Daten‑Bias‑Setups – bestehende Methoden übertrifft. Die drei untersuchten AVQA‑Architekturen profitieren gleichermaßen von der neuen Technik, was ACR zu einer soliden Basis für zukünftige R‑AVQA‑Aufgaben macht. Der zugehörige Code und die Checkpoints werden nach Annahme des Papiers auf GitHub zur Verfügung gestellt: https://github.com/PhuTran1005/R-AVQA.