Talk2DM: Sprachgesteuerte Karten für autonome Fahrzeuge dank KI

In China und Japan bilden dynamische Karten (DM) die Basis für die vernetzte autonome Fahrzeugführung, indem sie umfassende Verkehrsszenen darstellen und physikalische Sichtbehinderungen überwinden. Trotz erfolgreicher Einsatzbeispiele fehlt den bestehenden DM-Systemen bislang eine natürliche Sprachschnittstelle, die die Interaktion zwischen Mensch und Karte deutlich vereinfachen würde.

Um diese Lücke zu schließen, präsentiert die Studie VRCsim – ein Simulationsframework für die Fahrzeug‑Straßen‑Cloud‑Kooperation (VRC). VRCsim erzeugt kontinuierlich Daten für die gemeinsame Wahrnehmung (CP) und bildet damit die Grundlage für die neue Frage‑Antwort‑Sammlung VRC‑QA, die sich auf räumliche Abfragen und logisches Denken in gemischten Verkehrs­situationen konzentriert.

Auf Basis von VRCsim und VRC‑QA wurde Talk2DM entwickelt, ein Plug‑and‑Play-Modul, das VRC‑DM-Systeme mit natürlicher Sprachabfrage und gemeinverständlichem Denken ausstattet. Das Herzstück ist ein neuartiger Chain‑of‑Prompt‑Mechanismus, der schrittweise menschlich definierte Regeln mit dem Allgemeinwissen großer Sprachmodelle (LLMs) verknüpft und so präzise Antworten generiert.

Experimentelle Tests auf dem VRC‑QA‑Datensatz zeigen, dass Talk2DM mit verschiedenen LLMs – darunter Qwen3:8B, Gemma3:27B und GPT‑oss – konsistente Genauigkeit bei Sprachabfragen liefert und dabei die Fähigkeit zur Generalisierung über Modellgrenzen hinweg bewahrt. Größere Modelle erzielen zwar höhere Trefferquoten, jedoch mit merklichem Aufwand an Rechenleistung. Insgesamt demonstriert Talk2DM, dass sprachgesteuerte Karten in der vernetzten Fahrzeug‑Straßen‑Cloud realistisch und effizient umgesetzt werden können.