Spectrale Darstellungen revolutionieren Reinforcement Learning

Ein neues arXiv-Papier präsentiert einen innovativen Ansatz, bei dem Reinforcement‑Learning (RL) mithilfe spektraler Darstellungen statt herkömmlicher Funktionsapproximationen arbeitet. Durch die spektrale Zerlegung des Übergangoperators wird die Dynamik des Systems abstrahiert, was die Policy‑Optimierung vereinfacht und gleichzeitig eine klare theoretische Basis liefert.

Der Autor erläutert, wie spektrale Darstellungen für Übergangoperatoren mit latenten Variablen oder energiespezifischen Strukturen konstruiert werden können. Diese Strukturen führen zu unterschiedlichen Lernmethoden, die jeweils effektive RL‑Algorithmen innerhalb des neuen Rahmens erzeugen. Darüber hinaus wird gezeigt, dass die spektrale Sichtweise auch auf teilweise beobachtbare Markov‑Entscheidungsprozesse (POMDPs) erweitert werden kann.

In umfangreichen Experimenten mit über 20 anspruchsvollen Aufgaben aus der DeepMind Control Suite erzielen die entwickelten Algorithmen Leistungen, die mit den aktuellen Stand‑der‑Kunst‑Modellen konkurrieren oder diese sogar übertreffen. Der Ansatz bietet damit eine vielversprechende Alternative zu neuronalen Netzwerken, indem er Optimierungsinstabilität, Erkundungsprobleme und hohe Rechenkosten reduziert.