Generalisierung von multimodalen LLMs bei einfachen visuellen Planungsaufgaben

In den letzten Monaten hat die Integration von Begründungsmechanismen in große Sprachmodelle und Vision‑Language‑Modelle die Leistungsfähigkeit dieser Systeme deutlich gesteigert. Dennoch bleibt die Frage, wie gut diese Modelle über den Trainingsbereich hinaus funktionieren, weitgehend ungeklärt. In einer neuen Studie wurde ein rigoroses Evaluationsframework entwickelt, um die Generalisierung von Chain‑of‑Thought‑Ansätzen (CoT) bei einer einfachen Navigationsaufgabe zu untersuchen.

Die Aufgabe besteht aus einem Gitter, in dem ein Modell ein Kartenlayout erhält und eine Folge von Zügen berechnet, die einen Spieler von einer Startposition zum Ziel führen, während Hindernisse vermieden werden. Durch die Vielseitigkeit des Setups konnten die Forscher verschiedene Modellvarianten mit unterschiedlichen Eingabeformaten – visuell und textuell – sowie unterschiedlichen CoT‑Strategien feinabstimmen und anschließend sowohl unter in‑Distribution‑ (ID) als auch unter out‑of‑Distribution‑ (OOD) Bedingungen testen.

Die Ergebnisse zeigen, dass CoT‑Reasoning die ID‑Generalisation bei allen Darstellungen verbessert, die OOD‑Generalisation – etwa bei größeren Karten – jedoch in den meisten Fällen stark begrenzt bleibt, wenn trivial ähnliche Daten ausgeschlossen werden. Überraschenderweise liefern Begründungspfade, die mehrere Textformate kombinieren, die beste und nicht‑triviale OOD‑Leistung. Zudem übertreffen rein textbasierte Modelle konsequent solche, die Bilddaten nutzen, selbst wenn diese auf latente Raum‑Reasoning‑Ansätzen basieren.