RAM-OL: Retrieval-gestützte Lernmethode erhöht Genauigkeit bei Datenstrom

In der Welt der Online-Lernalgorithmen haben Retrieval‑Augmented Models, die parametrierte Vorhersager mit nicht‑parametrischen Erinnerungen kombinieren, bisher kaum in der Praxis für Streaming‑Daten mit sich verändernden Konzepten Anwendung gefunden. Das neue Verfahren RAM‑OL (Retrieval‑Augmented Memory for Online Learning) füllt diese Lücke, indem es einen kleinen Speicher vergangener Beispiele nutzt, um die Modellanpassung in Echtzeit zu verbessern.

RAM‑OL erweitert den klassischen Stochastic Gradient Descent um einen Buffer, der die letzten Trainingsbeispiele speichert. Bei jedem neuen Datenpunkt sucht das Modell in der versteckten Repräsentations‑Raum nach den nächsten Nachbarn aus dem Buffer und aktualisiert das Modell gleichzeitig mit dem aktuellen Beispiel und den abgerufenen Nachbarn. Dadurch werden wichtige Muster aus der Vergangenheit sofort in die Lernschleife integriert.

Um die Balance zwischen schnellem Nutzen relevanter Daten und Robustheit gegenüber veralteten Mustern zu halten, wurden zwei Varianten entwickelt. Die naive Replay‑Variante spielt einfach alle abgerufenen Nachbarn ein, während die gated Replay‑Variante zusätzliche Filter einsetzt: ein Zeitfenster, Ähnlichkeitsschwellen und eine Gradient‑Reweighting‑Strategie. Diese Maßnahmen verhindern, dass veraltete Beispiele die aktuelle Modellleistung negativ beeinflussen.

Aus theoretischer Sicht lässt sich RAM‑OL unter einem begrenzten Drift‑Modell interpretieren. Die Retrieval‑Komponente senkt die Anpassungskosten und verbessert die Regret‑Konstanten, wenn sich Muster im Zeitverlauf wiederholen. Das bedeutet, dass das Modell schneller auf neue Trends reagiert, ohne die Stabilität zu verlieren.

In praktischen Tests wurde RAM‑OL auf einem einfachen Online‑Multilayer‑Perceptron implementiert und auf drei realen Datenströmen evaluiert: Strompreisdaten, Lastdaten und Flugverspätungen. Bei stark driftenden und periodisch wechselnden Streams konnte RAM‑OL die prequential Accuracy um bis zu sieben Prozentpunkte steigern und die Varianz über verschiedene Zufallssamen deutlich reduzieren. Auf dem verrauschten Flugverspätungsstream zeigte die gated Variante nahezu identische Ergebnisse wie das reine Online‑Baseline‑Modell, was die Robustheit des Ansatzes unterstreicht.