LLMs für Datenanpassung: Sensitivität gegenüber irrelevanten Änderungen

Forscher haben herausgefunden, dass große Sprachmodelle (LLMs) zwar erstaunlich gut bei der Vorhersage von tabellarischen Daten sind, aber gleichzeitig extrem empfindlich auf scheinbar unbedeutende Änderungen in der Datenrepräsentation reagieren.

In einer aktuellen Studie von arXiv (2508.19563v1) wurde gezeigt, dass das Umbenennen von Variablen allein die Vorhersagefehler in bestimmten Szenarien um bis zu 82 % erhöhen kann. Diese Sensitivität tritt sowohl bei in‑Context‑Learning als auch bei klassisch feinabgestimmten Modellen auf – unabhängig davon, ob es sich um „close‑weight“ oder „open‑weight“ LLMs handelt.

Die Analyse der Aufmerksamkeitswerte eines offenen Modells ergab ein nicht‑uniformes Muster: Trainingsbeispiele und Variablennamen, die sich an bestimmten Positionen im Prompt befinden, erhalten deutlich mehr Aufmerksamkeit beim Generieren der Ausgabetoken, obwohl theoretisch alle Positionen gleich behandelt werden sollten. Dieses Phänomen erklärt zumindest teilweise die beobachtete Empfindlichkeit gegenüber irrelevanten Änderungen.

Zusätzlich wurde das TabPFN-Modell – ein führendes tabellarisches Grundmodell, das speziell für die Datenanpassung trainiert wurde – untersucht. Trotz seiner Spezialisierung bleibt die Frage offen, wie robust es gegenüber solchen irrelevanten Änderungen ist.