Adaptive Modality-Steering für multimodale LLMs dank funktioneller Entropie

Multimodale Large Language Models (MLLMs) zeigen häufig eine starke Präferenz für eine bestimmte Modalität – sei es Sprache oder Bild – was die Genauigkeit ihrer Antworten beeinträchtigen kann. Traditionelle Ansätze steuern diese Präferenz mit einer einheitlichen Intensität, was zu Problemen führt: Zu starkes Steuern kann die Standardinferenz stören und Fehler erhöhen, während zu schwaches Steuern kaum Wirkung zeigt.

Die neue Methode nutzt ein instanzsensitives Diagnostikmaß, das die Informationsbeiträge jeder Modalität misst und so erkennt, welche Beispiele besonders anfällig für Steuerung sind. Auf dieser Basis wird ein skalierender Ansatz entwickelt, der die Steuerung für empfindliche Fälle reduziert. Zusätzlich wird ein lernbarer Modul eingesetzt, das die Skalierungsmuster automatisch ermittelt und so eine präzise, instanzbasierte Kontrolle der Modality-Präferenz ermöglicht.

Experimentelle Ergebnisse zeigen, dass diese adaptive Steuerung die Modality-Präferenz effektiver reguliert als herkömmliche Verfahren, während die Fehlerquote bei der Textgenerierung niedrig bleibt. Damit wird ein vielversprechender Weg eröffnet, multimodale Modelle feiner und kontextsensitiver zu steuern, ohne die Gesamtleistung zu beeinträchtigen.