ASAP: Unüberwachtes Post-Training mit adaptiver Lernrate bei Label-Shift
In realen Anwendungen verändern sich die Label‑Verteilungen von Machine‑Learning‑Modellen ständig. Damit ein Modell schnell und stabil auf diese Änderungen reagiert, ist die Wahl der Lernrate entscheidend: zu niedrig verlangsamt die Anpassung, zu hoch führt zu Instabilität. Das neue Verfahren ASAP (Adaptive Shift Aware Post‑training) löst dieses Problem, indem es die Lernrate dynamisch anpasst. Dabei wird der Kosinus‑Abstand zwischen den aktuellen und den vorherigen, unlabeled Softmax‑Ausgaben berechnet und in einen begrenzten Bereich abgebildet.
ASAP benötigt keine Labels, keine Ensemble‑Modelle und keine Aufzeichnungen vergangener Eingaben. Es nutzt lediglich die vorherige Softmax‑Ausgabe, was die Methode extrem leichtgewichtig und schnell macht. In umfangreichen Experimenten über verschiedene Datensätze und Shift‑Szenarien hinweg zeigte ASAP eine konsequente Steigerung von Genauigkeit und Effizienz. Damit wird es zu einer praktikablen Lösung für die unsupervised Anpassung von Modellen in dynamischen Umgebungen.