Interpreting Multi-Attribute Confounding through Numerical Attributes in Large Language Models

Eine neue Studie aus dem arXiv-Repository (ArXiv:2511.04053v1) beleuchtet, wie große Sprachmodelle (LLMs) mit numerischen Attributen umgehen und warum sie dabei Fehler machen. Die Forscher untersuchten, wie LLMs mehrere Zahlenwerte einer einzigen Entität intern verknüpfen und wie irrelevante numerische Kontexte diese Darstellungen verzerren.

Durch Kombination von linearem Probing, partieller Korrelationsanalyse und promptbasierten Schwachstellen-Tests konnten die Autoren zeigen, dass LLMs reale numerische Zusammenhänge erkennen, diese jedoch systematisch übertreiben. Irrelevante Kontextinformationen führen zu konsistenten Verschiebungen in den Größenangaben, was wiederum die Endausgaben der Modelle beeinflusst – und zwar unterschiedlich stark je nach Modellgröße.

Die Ergebnisse deuten auf eine Schwachstelle im Entscheidungsprozess von LLMs hin und legen die Basis für gerechtere, representationsbewusste Kontrollmechanismen, die Mehrfachattribut-Verflechtungen berücksichtigen. Diese Erkenntnisse sind ein wichtiger Schritt, um die Zuverlässigkeit und Fairness von KI-Systemen zu verbessern.