QuickLAP: Sprach- und physische Rückmeldungen vereint für autonomes Fahren

Autonome Fahrzeuge müssen aus dem Verhalten und den Worten der Menschen lernen. Allein physische Korrekturen liefern zwar klare Signale, bleiben aber oft unklar in ihrer Intention, während Sprache hohe Ziele vermittelt, aber keine physische Basis hat. QuickLAP, ein Bayesianisches Lernframework, kombiniert beide Modalitäten, um in Echtzeit die Belohnungsfunktion eines Fahrzeugs zu bestimmen.

Der Ansatz betrachtet Sprache als probabilistische Beobachtung über die latenten Präferenzen des Nutzers. Durch den Einsatz von Large Language Models werden aus freien Sprechern die wichtigsten Belohnungsmerkmale und Präferenzänderungen extrahiert. Diese Informationen werden mit physischen Rückmeldungen in einer geschlossenen Update‑Regel zusammengeführt, wodurch ein schneller, robuster Lernprozess entsteht, der auch bei mehrdeutiger Rückmeldung zuverlässig funktioniert.

In einem halbautonomen Fahrzeugsimulator konnte QuickLAP die Fehler bei der Belohnungslernkurve um mehr als 70 % im Vergleich zu rein physischen und heuristischen multimodalen Baselines reduzieren. Eine Studie mit 15 Teilnehmern zeigte, dass die Nutzer QuickLAP als deutlich verständlicher und kollaborativer empfanden und die erlernten Verhaltensweisen den Basismodellen vorzogen.

Der komplette Code ist frei verfügbar unter https://github.com/MIT-CLEAR-Lab/QuickLAP.