Found‑RL: RL mit Foundation‑Modellen für autonome Fahrzeugsimulation

Reinforcement Learning (RL) hat sich als führendes Verfahren für end‑to‑end autonome Fahrsysteme etabliert, steht jedoch vor zwei großen Hindernissen: einer hohen Datenanforderung und einer mangelnden semantischen Interpretierbarkeit in komplexen Fahrszenarien. Foundation‑Modelle, insbesondere Vision‑Language‑Modelle (VLMs), bieten reichhaltiges, kontextsensitives Wissen, doch ihre hohe Inferenzlatenz verhindert eine direkte Einbindung in die hochfrequenten RL‑Trainingsschleifen.

Found‑RL löst dieses Problem mit einem asynchronen Batch‑Inference‑Framework, das die aufwändige VLM‑Logik vom Simulationsloop trennt. Dadurch werden die Latenzengpässe eliminiert und ein Echtzeit‑Training ermöglicht. Das System integriert zudem zwei neue Supervisionsmechanismen: Value‑Margin Regularization (VMR) und Advantage‑Weighted Action Guidance (AWAG). Diese Techniken distillieren die von VLMs generierten, expertenähnlichen Aktionsvorschläge effizient in die RL‑Policy.

Zur Belohnungsformung nutzt Found‑RL das hochleistungsfähige CLIP-Modell. Durch Conditional Contrastive Action Alignment wird die dynamische Blindheit von CLIP behoben, indem die Prompts an diskretisierte Geschwindigkeiten und Befehle angepasst werden. Das Ergebnis ist ein normalisierter, marginbasierter Bonus, der auf spezifischen Aktionsanker‑Scorings basiert.

Die komplette Pipeline von Found‑RL demonstriert, dass ein leichtgewichtiges RL‑Modell nahezu die Leistung von Billionen‑Parameter‑VLMs erreichen kann, während es gleichzeitig eine Echtzeit‑Inference von etwa 500 FPS beibehält. Der gesamte Code, die Daten und die Modelle werden öffentlich auf GitHub zur Verfügung gestellt, sodass die Forschungsgemeinschaft sofort von dieser Innovation profitieren kann.