LLMs und Menschen: Bildhafte Kontexte beeinflussen Satzakzeptanz kaum

Eine neue Untersuchung, die auf arXiv veröffentlicht wurde, beleuchtet, wie visuelle Bilder die Einschätzung von Satzakzeptanz bei Menschen und großen Sprachmodellen (LLMs) beeinflussen. Während frühere Studien sich auf reine Textkontexte konzentrierten, wurde hier der Einfluss von Bildmaterial als multimodaler Kontext systematisch analysiert.

Die Ergebnisse zeigen, dass visuelle Bilder bei menschlichen Prüfern kaum einen Unterschied in der Bewertung von Satzakzeptanz ausmachen. Im Gegensatz dazu zeigen LLMs ein sogenanntes „Compression‑Effekt“, ähnlich dem, was in dokumentenbasierten Kontexten beobachtet wurde. Das bedeutet, dass die Modelle ihre Vorhersagen stärker an die statistische Verteilung der Trainingsdaten anpassen, wenn sie mit Bildern konfrontiert werden.

Interessanterweise variiert die Genauigkeit der LLMs je nach Modelltyp. Während einige Modelle, wie Qwen, die menschlichen Bewertungsmuster sehr gut nachahmen, zeigen andere Modelle signifikante Abweichungen. Zudem korrelieren die von LLMs generierten Vorhersagen stark mit ihren normalisierten Log‑Wahrscheinlichkeiten – ein Zusammenhang, der jedoch schwächer wird, wenn Bildkontexte einbezogen werden. Dies deutet darauf hin, dass die internen Repräsentationen der Modelle in Gegenwart von Bildern weniger eng mit ihren endgültigen Vorhersagen übereinstimmen.

Die Studie liefert wertvolle Einblicke in die Gemeinsamkeiten und Unterschiede zwischen menschlicher und maschineller Sprachverarbeitung in multimodalen Umgebungen. Sie legt nahe, dass visuelle Informationen für Menschen weniger relevant sind, während LLMs stärker von ihnen beeinflusst werden, was wichtige Implikationen für die Entwicklung multimodaler KI‑Anwendungen hat.