Deep Reinforcement Learning steigert Kapazität und Kraftstoffeffizienz im gemischten Verkehr

Die Integration von automatisierten Fahrzeugen (AV) in den bestehenden Straßenverkehr, in dem sie mit von Menschen gesteuerten Fahrzeugen koexistieren, stellt die Verkehrssteuerung vor komplexe Aufgaben. Dabei gilt es, Sicherheit, Effizienz, Fahrkomfort, Kraftstoffverbrauch und Verkehrsregeln in Einklang zu bringen, während gleichzeitig die heterogene Fahrerverhalten berücksichtigt werden muss.

Konventionelle Fahrfolgenmodelle wie das Intelligent Driver Model (IDM) zeigen oft Schwierigkeiten, sich über verschiedene Verkehrsszenarien hinweg zu verallgemeinern, und berücksichtigen kaum den Kraftstoffverbrauch. Diese Einschränkungen motivieren die Entwicklung lernbasierter Ansätze, bei denen Deep Reinforcement Learning (DRL) eingesetzt wird.

In der vorliegenden Studie wurde der Twin Delayed Deep Deterministic Policy Gradient (TD3)-Algorithmus zur Steuerung von AVs implementiert und mit dem NGSIM-Hochgeschwindigkeitsdatensatz trainiert. Dadurch konnten AVs realistische Interaktionen mit menschlich gesteuerten Fahrzeugen simuliert werden.

Die Leistungsfähigkeit der Verkehrsströme wurde anhand des Fundamental Diagram (FD) unter variierenden Fahrerheterogenität, unterschiedlichen Zeitlücken-Penetrationsraten und verschiedenen Anteilen von RL-gesteuerten Fahrzeugen bewertet. Zusätzlich erfolgte ein Vergleich der Kraftstoffeffizienz zwischen dem DRL-basierten AV-Modell und dem IDM.

Die Ergebnisse zeigen, dass die Verkehrsleistung stark von der Verteilung sicherer Zeitlücken und dem Anteil der RL-Fahrzeuge abhängt. Ein vollständiger Übergang zu RL-gesteuertem Verkehr kann die Straßenkapazität deutlich erhöhen und gleichzeitig die Kraftstoffeffizienz verbessern, ohne die Sicherheit zu gefährden.