Deep Q-Learning: Q‑Wert‑Updates durch Vorhersage von Nachfolgestates optimiert

Deep‑Q‑Netzwerke (DQNs) schätzen zukünftige Belohnungen, indem sie aus Transitions im Replay‑Buffer lernen. Dabei basieren die Ziel‑Updates häufig auf Zuständen, die durch Aktionen einer früheren, oft suboptimalen Policy erzeugt wurden. Diese Zustände liefern nicht immer aussagekräftige Lernsignale, was die Varianz der Updates erhöht und die Stabilität des Lernprozesses beeinträchtigt.

Um dieses Problem zu lösen, stellt die neue Methode Successor‑state Aggregation Deep Q‑Network (SADQ) vor. SADQ modelliert die Umgebungsdynamik explizit mit einem stochastischen Übergangsmodell und integriert die Verteilungen der Nachfolgestates direkt in die Q‑Wert‑Schätzung. Dadurch werden die Updates stärker an die aktuelle Policy ausgerichtet und die Lernstabilität deutlich verbessert.

Darüber hinaus nutzt SADQ die modellierte Übergangsstruktur, um eine effizientere Aktionsauswahl zu ermöglichen. Theoretische Analysen zeigen, dass SADQ unverzerrte Q‑Wert‑Schätzungen liefert und gleichzeitig die Trainingsvarianz reduziert. Diese Eigenschaften machen das Modell zu einer robusten Alternative zu klassischen DQN‑Varianten.

Umfangreiche Experimente auf Standard‑RL‑Benchmarks sowie auf realen, vektor‑basierten Steuerungsaufgaben demonstrieren, dass SADQ konsequent bessere Ergebnisse erzielt. Im Vergleich zu herkömmlichen DQNs zeigt es sowohl höhere Stabilität als auch eine schnellere Lernrate, was die Methode zu einem vielversprechenden Ansatz für zukünftige Anwendungen im Bereich des Verstärkten Lernens macht.