Transformer-Modelle im Fokus: Systematische Analyse syntaktischer Fähigkeiten

Eine neue, umfassende Übersicht hat 337 wissenschaftliche Arbeiten zusammengefasst, die die syntaktischen Kompetenzen von Transformer‑basierten Sprachmodellen untersuchen. Die Analyse umfasst 1 015 Ergebnisse aus unterschiedlichen Modellen und Methoden und beleuchtet ein breites Spektrum syntaktischer Phänomene.

Die Ergebnisse zeigen, dass die aktuelle Forschung eine gesunde Vielfalt an Ansätzen und Datensätzen bietet, gleichzeitig aber stark auf Englisch, auf BERT und auf leicht zugängliche Phänomene wie Wortarten und Kongruenz fokussiert ist. Während die Modelle bei formorientierten Aufgaben wie Wortartenklassifikation und Kongruenz sehr gut abschneiden, sind ihre Leistungen bei komplexeren Syntax‑Semantik‑Verknüpfungen – etwa Bindung oder Filler‑Gap‑Abhängigkeiten – deutlich schwächer und variabler.

Die Autoren geben klare Empfehlungen für zukünftige Studien: Vollständige Datensätze veröffentlichen, theoretische Konzepte und Methoden stärker aufeinander abstimmen, mechanistische Analysewerkzeuge vermehrt einsetzen und die empirische Reichweite auf weitere Sprachen sowie vielfältigere linguistische Phänomene ausweiten.

Diese systematische Bewertung liefert einen wertvollen Leitfaden für die Weiterentwicklung von Sprachmodellen und unterstreicht die Notwendigkeit, die Forschung breiter und methodisch konsistenter zu gestalten, um die Grenzen der syntaktischen Verarbeitung in KI‑Systemen besser zu verstehen.