Kontinuierliche Tokens verbessern Entscheidungen bei verrauschten Zeitreihen

Transformers wurden ursprünglich für diskrete Token entwickelt, doch viele reale Signale sind kontinuierliche Prozesse, die durch verrauschte Messungen erfasst werden. Die üblichen diskreten Tokenisierungen – rohe Werte, Patches oder endliche Differenzen – zeigen sich in solchen Rausch‑Umgebungen oft unzuverlässig, insbesondere wenn die Zielaufgabe asymmetrische Strafen für Fehlentscheidungen vorsieht und damit das Abweichen von Entscheidungen fördert.

Um diesem Problem zu begegnen, stellt die neue Methode „Kinematic Tokenization“ vor, die auf einer optimierungsbasierten kontinuierlichen Zeitdarstellung beruht. Dabei wird aus den verrauschten Messungen ein expliziter Spline rekonstruiert, dessen lokale Koeffizienten (Position, Geschwindigkeit, Beschleunigung, Jerk) als Tokens abgelegt werden. Diese Tokens fassen die dynamische Struktur des Signals kompakt zusammen und ermöglichen eine robuste Verarbeitung durch Transformer‑Modelle.

Die Technik wurde auf Finanzzeitreihen – Asset‑Preise kombiniert mit Handelsvolumenprofilen – in einem mehrdimensionalen, täglichen Aktien‑Testfeld angewendet. Unter Einsatz einer risikoneutrigen, asymmetrischen Klassifikationsaufgabe, die das Abweichen von Entscheidungen belohnt, wurde die Lernfähigkeit der Modelle getestet. Während mehrere diskrete Baselines in eine „Liquidation‑Equilibrium“-Strategie abfielen, behielten die kontinuierlichen Spline‑Tokens gut kalibrierte, nicht‑triviale Aktionsverteilungen bei und führten zu stabilen Entscheidungsrichtlinien.

Diese Ergebnisse zeigen, dass explizite kontinuierliche Tokens die Lernbarkeit und Kalibrierung selektiver Entscheidungsmodelle in verrauschten Zeitreihen deutlich verbessern können, insbesondere wenn die Verlustfunktion das Abweichen von Entscheidungen fördert. Die Methode eröffnet damit neue Perspektiven für robuste Transformer‑Anwendungen in der Finanzanalyse und darüber hinaus.