VRSLU: Benchmark mit visuellen Szenen und Begründungen für Sprachverstehen

Spoken Language Understanding (SLU) umfasst die Aufgaben Intent Detection und Slot Filling. Für den Einsatz in der Praxis ist es entscheidend, dass SLU-Systeme nicht nur die Intention eines Nutzers erkennen, sondern auch den Kontext, die Nutzerprofile und Wissensgraphen berücksichtigen. Aktuelle Datensätze hinken dabei hinterher, weil sie Kontextinformationen zu stark idealisieren und die Möglichkeit, die Entscheidungsprozesse zu erklären, vernachlässigen.

Mit dem neuen Benchmark VRSLU wird das Problem angegangen: Für jede Nutzerfrage werden Bilder generiert, die die Umgebung und den Status des Nutzers widerspiegeln. Diese Bilder entstehen mithilfe von GPT‑4o und FLUX.1‑dev und anschließend von Menschen überprüft, um Qualität sicherzustellen. Zusätzlich liefert GPT‑4o erklärende Texte zu den vorhergesagten Intents und Slots, die von menschlichen Annotatoren verfeinert werden.

Ein weiteres Highlight ist das LR‑Instruct‑Template, das die Vorhersage der Labels und die Erzeugung der Begründungen in zwei Schritten durchführt. Dadurch wird verhindert, dass die Begründung die Label‑Vorhersage verzerrt. Erste Experimente zeigen, dass die Kombination aus visuellen Hinweisen und erklärenden Texten die Leistung von SLU-Modellen deutlich steigert und gleichzeitig die Interpretierbarkeit verbessert.