LLMs für Zeitreihen: Vektor-injected ICL verbessert Prognosen ohne Mehrkosten

In einer neuen Veröffentlichung auf arXiv wird ein Ansatz vorgestellt, der große Sprachmodelle (LLMs) für die Zeitreihenprognose (TSF) optimiert, ohne dass die Modelle neu trainiert werden müssen. Der Autor betont, dass die Trainingsdaten von LLMs oft weit von echten Zeitreihen entfernt sind, was die Genauigkeit bei direkter Anwendung einschränkt.

Um dieses Problem zu lösen, wird ein Verfahren namens LVICL – Vector‑Injected In‑Context Learning – entwickelt. Dabei wird ein lernbarer Kontext‑Vector‑Adapter eingesetzt, der aus mehreren Beispiel‑Zeitreihen einen komprimierten Kontext‑Vector extrahiert. Dieser Vector enthält die für die Vorhersage relevanten Informationen.

Der entscheidende Schritt besteht darin, den Kontext‑Vector in jede Schicht des bereits trainierten LLMs einzufügen. Dadurch kann das Modell seine In‑Context‑Learning‑Fähigkeiten nutzen, ohne dass die Prompt‑Länge wächst. Das Ergebnis ist eine verbesserte Prognoseleistung bei gleichzeitig geringem Rechenaufwand, da die LLM‑Parameter unverändert bleiben.

Der Ansatz zeigt, dass durch gezielte In‑Context‑Injection die Leistungsfähigkeit von LLMs für spezifische Aufgaben wie die Zeitreihenprognose erheblich gesteigert werden kann, ohne die Kosten für erneutes Training zu erhöhen. Dies eröffnet neue Möglichkeiten für die praktische Anwendung von Sprachmodellen in datenintensiven Bereichen.