FANoise: Dynamische Rauschmodulation verbessert multimodale Repräsentationslernen

In der heutigen KI-Welt bildet das Lernen robuster Repräsentationen das Fundament für Anwendungen wie Textsuche und multimodales Verständnis. Trotz großer Fortschritte bleibt die Entwicklung von Modellen, die sowohl robust als auch generalisierbar sind, eine zentrale Herausforderung.

Frühere Ansätze haben gezeigt, dass das gezielte Einführen von Rauschen – eine Form der Datenaugmentation – die Leistung von Encodern steigern kann. Allerdings basieren die meisten Methoden auf heuristischen oder statischen Rauschmustern und berücksichtigen nicht die sich ständig verändernde Verteilung der Merkmale während des Trainings. Diese Unterschätzung der Dynamik kann zu suboptimalen Ergebnissen führen.

Die neue Methode FANoise adressiert dieses Problem, indem sie ein feature‑adaptives Rausch‑Injection‑Schema entwickelt. Durch die Analyse der Gradienten‑ und Merkmalverteilung im Kontext des InfoNCE‑Losses wird das Rauschen dynamisch an die aktuellen Lernbedingungen angepasst. Dadurch werden negative Effekte von Rauschen reduziert, während gleichzeitig die Vorteile der Datenaugmentation erhalten bleiben.

Umfangreiche Experimente zeigen, dass FANoise die Gesamtleistung bei multimodalen Aufgaben signifikant steigert. Die Verbesserungen gelten über verschiedene Basis‑VLM‑Modelle hinweg und demonstrieren, dass ein theoretisch fundierter, dynamischer Ansatz die Grenzen des robusten Repräsentationslernens verschiebt.