Neues Semi‑Supervised Pre‑Training verbessert Zeitreihenklassifikation

Deep‑Learning‑Modelle für Zeitreihen müssen komplexe zeitliche Muster erfassen, um dynamische Daten wirkungsvoll zu repräsentieren. Selbst‑ und halbüberwachte Lernmethoden haben sich beim Vor‑Training großer Modelle als vielversprechend erwiesen, da sie nach dem Feintuning oft bessere Klassifikationsleistungen erzielen als Modelle, die von Grund auf trainiert werden. Die Auswahl der Vor‑Trainingsaufgaben bleibt jedoch häufig heuristisch, und ihre Übertragbarkeit auf die eigentliche Klassifikation ist nicht garantiert.

Um diesem Problem zu begegnen, wurde eine neue semi‑supervised Vor‑Trainingsstrategie entwickelt, die latente Repräsentationen erzwingt, die dem sogenannten Neural‑Collapse‑Phänomen entsprechen – einem geometrischen Muster, das bei optimal trainierten Klassifikatoren beobachtet wird. Dabei kommt ein rotatorischer, gleichwinkliger Tight‑Frame‑Classifier zum Einsatz, kombiniert mit Pseudo‑Labeling, sodass tiefe Encoder mit nur wenigen gelabelten Stichproben vortrainiert werden können. Zusätzlich werden generative Vor‑Trainingsaufgaben und eine neuartige sequentielle Augmentationsstrategie integriert, um die zeitlichen Dynamiken effektiv einzufangen und gleichzeitig die Trennbarkeit der Einbettungen zu gewährleisten.

Die Methode übertrifft bestehende Vor‑Trainingsaufgaben deutlich bei LSTM‑Netzwerken, Transformern und State‑Space‑Modellen auf drei multivariaten Zeitreihenklassifikationsdatensätzen. Diese Ergebnisse unterstreichen den Nutzen, Vor‑Trainingsziele mit theoretisch fundierter Einbettungsgeometrie abzustimmen, und zeigen, dass eine gezielte Ausrichtung der Lernaufgaben die Leistungsfähigkeit moderner Zeitreihenmodelle signifikant steigern kann.