KLDrive: Wissensgraph-gestützte 3D-Scene-Analyse für autonomes Fahren

Autonomes Fahren verlangt präzises Verständnis von 3‑D‑Szenen. Um diese Fähigkeit zu prüfen, setzen Forscher zunehmend auf fein abgestufte Frage‑Antwort‑Aufgaben, die multimodale Fahrdaten nutzen. Doch herkömmliche Wahrnehmungspipelines und große Sprachmodelle (LLMs) leiden noch immer unter unzuverlässigen Fakten, Halluzinationen und undurchsichtigen Entscheidungswegen.

Mit KLDrive präsentiert das Team eine völlig neue Herangehensweise: ein wissensgraph‑gestütztes LLM‑Framework, das speziell für die feingranulare Frage‑Antwort in autonomen Fahrszenarien entwickelt wurde. Das System kombiniert zwei eng verknüpfte Komponenten, um die genannten Schwächen zu überwinden.

Die erste Komponente ist ein energiesystembasiertes Modul zur Szenenfaktkonstruktion. Es sammelt Beweise aus verschiedenen Quellen – Kameras, Lidars, Radar und Sensordaten – und konsolidiert sie zu einem zuverlässigen Wissensgraphen, der die 3‑D‑Szenen exakt abbildet.

Die zweite Komponente ist ein LLM‑Agent, der auf Basis dieses Graphen faktenbasierte Schlüsse zieht. Durch strukturierte Prompting‑Strategien und wenige, gezielte In‑Context‑Beispiele kann das Modell ohne umfangreiche, aufgaben­spezifische Feinabstimmung an unterschiedliche Fragestellungen angepasst werden.

In umfangreichen Tests auf zwei führenden QA‑Benchmarks – NuScenes‑QA und GVQA – übertrifft KLDrive die bisherigen Spitzenreiter. Es erzielt eine Gesamtgenauigkeit von 65,04 % bei NuScenes‑QA und einen SPICE‑Score von 42,45 bei GVQA. Besonders beeindruckend ist die Leistung bei der Zählaufgabe, wo das Modell die stärkste Basis um 46,01 Prozentpunkte übertrifft und damit deutlich weniger Halluzinationen produziert.

KLDrive demonstriert, dass die Kombination aus verlässlicher Szenenfaktkonstruktion und expliziter, faktenbasierter Logik die Qualität von Frage‑Antwort‑Systemen im autonomen Fahren nachhaltig steigert. Diese Fortschritte markieren einen wichtigen Schritt hin zu sichereren und intelligenteren Fahrzeugen.