Wavelet-Fourier-Diffuser: Frequenzorientiertes Modell verbessert RL

In der Offline‑Reinforcement‑Learning‑Forschung haben Diffusionswahrscheinlichkeitsmodelle vielversprechende Fortschritte erzielt, indem sie Trajektorien direkt modellieren. Bisher konzentrierten sich die Ansätze jedoch ausschließlich auf zeitliche Merkmale und vernachlässigten die Frequenzdomäne. Diese Vernachlässigung führt zu Frequenzverschiebungen, die die Stabilität der Trajektorien beeinträchtigen und die Leistung der Agenten mindern.

Um dieses Problem zu lösen, präsentiert das neue Wavelet Fourier Diffuser (WFDiffuser) ein innovatives Framework, das die Diskrete Wavelet‑Transformation nutzt, um Trajektorien in nieder- und hochfrequente Komponenten zu zerlegen. Für jede Komponente setzt WFDiffuser die Kurzzeit‑Fourier‑Transformation ein und kombiniert sie mit Cross‑Attention‑Mechanismen, um Frequenz‑Domain‑Features präzise zu extrahieren und die Interaktion zwischen den Frequenzbereichen zu fördern.

Umfangreiche Experimente auf dem D4RL‑Benchmark zeigen, dass WFDiffuser die Frequenzverschiebung effektiv reduziert. Die resultierenden Trajektorien sind flüssiger und stabiler, was zu einer verbesserten Entscheidungsfindung und einer überlegenen Leistung gegenüber bestehenden Methoden führt.