Neues Verfahren verhindert Vergessen bei Audio-Visual Testzeit-Anpassung

Die kontinuierliche Anpassung von Audio‑Visual‑Modellen während des Testens stellt eine große Herausforderung dar: In nicht stationären Umgebungen können sowohl die Audio‑ als auch die Video‑Modalitäten ihre Verteilung ändern, was das Online‑Cross‑Modal‑Learning stark beeinträchtigt und letztlich die Genauigkeit senkt.

Frühere Ansätze zur Testzeit‑Anpassung leiden häufig unter katastrophalem Vergessen. Durch fortlaufende Parameterupdates sinkt die Leistung des Modells oft deutlich unter die des ursprünglichen Quellmodells.

In der vorliegenden Arbeit wird gezeigt, dass die Anpassung ausschließlich der Modus‑Fusionsebene nicht nur die Leistung im aktuellen Zielbereich verbessert, sondern auch die Performance in nachfolgenden Bereichen steigert. Diese starke Übertragbarkeit der Fusionsebene‑Parameter bildet die Grundlage für die neue Methode AV‑CTTA.

AV‑CTTA nutzt einen selektiven Parameter‑Abrufmechanismus: Aus einem Puffer werden dynamisch die besten Fusionsebene‑Parameter anhand einer kleinen Test‑Batch abgerufen, in das Modell integriert, an die aktuelle Testverteilung angepasst und anschließend wieder gespeichert. So bleibt das Modell stets auf dem neuesten Stand, ohne die ursprünglichen Daten zu benötigen.

Umfangreiche Experimente an Benchmark‑Datensätzen mit unimodalen und bimodalen Störungen zeigen, dass AV‑CTTA bestehende Verfahren deutlich übertrifft und gleichzeitig das katastrophale Vergessen minimiert.