Programmatische Datensynthese steigert räumliches Denken in multimodalen Modellen

Die Entwicklung von „embodied intelligence“ – also KI, die in der realen Welt handeln kann – wird bislang durch die begrenzte räumliche Wahrnehmung und das fehlende logische Denken der Modelle stark eingeschränkt. Traditionelle Ansätze, die auf vorgefertigten Templates oder manueller Annotation basieren, stehen im Widerspruch: Templates sind skalierbar, aber strukturell starr, während manuelle Anmerkungen sprachlich vielfältig, aber nicht skalierbar und oft unpräzise sind.

Um dieses Dilemma zu lösen, präsentiert die neue Studie das Framework SPRITE. Dabei wird die Erzeugung von Ground‑Truth-Daten als Code‑Generierungsaufgabe formuliert. Große Sprachmodelle (LLMs) übersetzen komplexe räumliche Fragen in ausführbare Programme, die anschließend gegen hochpräzise Szenen‑Metadaten aus simulierten Umgebungen verifiziert werden. So entsteht ein Datensatz, der sowohl sprachlich vielfältig als auch rechnerisch exakt ist.

Mit SPRITE wurden drei verschiedene Simulationsumgebungen genutzt, um mehr als 11.000 Szenen zu generieren. Der daraus resultierende Datensatz umfasst über 300.000 Bild‑ und Video‑Anweisungs‑Tuning‑Paare, die speziell für die Schulung von Vision‑Language‑Modellen (VLMs) entwickelt wurden.

Ein VLM, das mit diesen Daten trainiert wurde, erzielte signifikante Verbesserungen auf mehreren räumlichen Benchmarks und übertraf andere Open‑Source‑Datensätze gleicher Größe. Eine Skalierungsanalyse bestätigt, dass die Überwindung der geringen Vielfalt traditioneller Template‑Methoden entscheidend für den Fortschritt in der räumlichen KI ist.