Sicheres, nachhaltiges Laden von Elektrobusse mit hierarchischem DRL optimiert

Die Integration von Elektrobusse (EB) in erneuerbare Energiequellen wie Photovoltaik (PV) bietet eine vielversprechende Lösung für umweltfreundliche und emissionsarme öffentliche Verkehrssysteme. Doch die Planung von Ladezeiten, die sowohl Kosten senken als auch die Sicherheit der Batterien gewährleisten soll, ist besonders komplex, wenn Unsicherheiten bei PV-Erzeugung, Strompreisen, Fahrzeiten und Ladeinfrastruktur berücksichtigt werden.

In der aktuellen Studie wird ein hierarchisches Deep Reinforcement Learning (HDRL)-Framework vorgestellt, das das Problem der EB-Ladung als konstrahierten Markov-Entscheidungsprozess (CMDP) modelliert. Durch die Einführung von Optionen ermöglicht das System zeitlich abstrahierte Entscheidungen, die sowohl zentral als auch dezentral umgesetzt werden können.

Der neu entwickelte Algorithmus, Double Actor-Critic Multi-Agent Proximal Policy Optimization Lagrangian (DAC-MAPPO-Lagrangian), kombiniert Lagrange‑Relaxation mit einem Double Actor-Critic-Ansatz. Auf der oberen Ebene wird ein zentraler PPO‑Lagrangian-Algorithmus eingesetzt, um sichere Ladezuweisungen zu erlernen. Auf der unteren Ebene nutzt das System MAPPO‑Lagrangian, um dezentrale Ladeleistungsentscheidungen im Rahmen von Centralized Training and Decentralized Execution (CTDE) zu treffen.

Umfangreiche Tests mit realen Daten zeigen, dass das vorgeschlagene Verfahren bestehende Baselines sowohl bei der Kostenminimierung als auch bei der Einhaltung von Sicherheitsstandards übertrifft und gleichzeitig eine schnelle Konvergenz erreicht. Diese Fortschritte markieren einen bedeutenden Schritt hin zu effizienteren und sichereren Ladeplänen für Elektrobusse in der Praxis.