Verborgene Schwachstellen in Interaktionen: Robustheit im multimodalen CL

Im Bereich des multimodalen Contrastive Learning wird die klassische Bild‑Text‑Abstimmung zunehmend durch komplexere Modallogiken erweitert. Ein besonders vielversprechender Ansatz ist Symile, das über eine multiplikative Interaktion höhere‑Ordnungskorrelationen zwischen Modalen erfasst. Trotz seiner Leistungsfähigkeit zeigt sich jedoch ein kritischer Schwachpunkt: Symile behandelt sämtliche Modalitäten gleich und berücksichtigt keine Unterschiede in ihrer Zuverlässigkeit.

In der Praxis können Modalitäten über die Bild‑Text‑Kombination hinaus oft nicht perfekt ausgerichtet sein, schwach informative Signale liefern oder sogar fehlen. Wenn diese unzuverlässigen Modalitäten gleichberechtigt in die multiplikative Produktformel einfließen, kann das Modell stillschweigend an Leistung verlieren. Diese Fragilität bleibt dabei im Produkt verborgen, sodass Symile selbst bei einer einzigen fehlerhaften Modale die durchschnittliche Performance über CLIP hinaus erreichen kann.

Um diesem Problem zu begegnen, wurde Gated Symile entwickelt. Das System nutzt ein attention‑basiertes Gating, das die Beitrag jedes Modals pro Kandidat individuell anpasst. Unzuverlässige Eingaben werden durch Interpolation in lernbare Neutralrichtungen reduziert, während ein explizites NULL‑Option eingeführt wird, wenn eine zuverlässige Kreuzmodal‑Ausrichtung unwahrscheinlich ist. Auf diese Weise kann das Modell die Qualität der Modalitäten dynamisch gewichten und fehlerhafte Signale abschwächen.

Ein kontrolliertes synthetisches Benchmark sowie drei reale trimodale Datensätze zeigen, dass Gated Symile die Top‑1‑Retrieval‑Genauigkeit gegenüber dem optimierten Symile‑Modell und CLIP‑Modellen deutlich steigert. Die Ergebnisse unterstreichen die Bedeutung von Gating‑Mechanismen für ein robustes multimodales Contrastive Learning, insbesondere wenn mehr als zwei Modalitäten mit unvollständigen oder fehlerhaften Daten arbeiten.