Adaptive Reset schützt Modelle vor langfristigem Testzeit-Adaptationsabsturz

In der Forschung zur kontinuierlichen Testzeit-Adaptation (TTA) hat sich ein neues Problem herauskristallisiert: Wenn Modelle über lange Zeiträume hinweg ohne Unterbrechung angepasst werden, akkumulieren Fehler und führen schließlich zu einem „Model Collapse“. Dabei beschränkt sich das Modell auf die Vorhersage weniger Klassen für sämtliche Eingaben.

Frühere Ansätze setzten auf periodische Reset‑Strategien, die zwar die Fehler vollständig löschen, aber unabhängig vom tatsächlichen Risiko eines Absturzes ausgelöst werden. Diese Reset‑Zyklen führen zudem zu einem katastrophalen Verlust von Wissen, das das Modell im Laufe der Zeit erworben hat und das in zukünftigen Aufgaben von Nutzen sein könnte.

Die neue Studie präsentiert ein Adaptive and Selective Reset (ASR)-Schema, das dynamisch bestimmt, wann und wo ein Reset erfolgen soll. Durch die gezielte Auswahl des Reset‑Zeitpunkts und des betroffenen Modulausgangs wird die Adaptivität verbessert, ohne unnötige Wissensverluste zu riskieren.

Zusätzlich wird ein importance‑aware Regularizer eingeführt, der das wesentliche Wissen, das durch einen Reset verloren gehen könnte, wiederherstellt. Dieser Regularizer sorgt dafür, dass das Modell die wichtigsten Merkmale behält und gleichzeitig die Fehler korrigiert.

Ein weiteres Highlight ist ein On‑the‑Fly‑Adaptation‑Adjustment‑Schema, das die Anpassungsfähigkeit bei schwierigen Domain‑Shifts erhöht. Durch die kontinuierliche Feinabstimmung kann das Modell schneller auf neue Umgebungen reagieren.

Umfangreiche Experimente auf etablierten Long‑Term‑TTA‑Benchmarks zeigen, dass die Kombination aus ASR, dem importance‑aware Regularizer und dem On‑the‑Fly‑Adjustment die Leistung signifikant steigert – besonders unter herausfordernden Bedingungen.

Der zugehörige Code ist frei verfügbar unter https://github.com/YonseiML/asr.