Langtext-Performance von LLMs: Mehr Kontext = weniger Genauigkeit – Studie

Moderne Sprachmodelle werden zunehmend in Anwendungen eingesetzt, bei denen die relevanten Informationen in langen, oft unübersichtlichen Texten verborgen sind. Trotz dieser wachsenden Nutzung ist die Robustheit gegenüber steigender Kontextlänge bislang wenig erforscht.

In einer kontrollierten, empirischen Untersuchung wurden zwei etablierte Frage‑Antwort‑Benchmarks – SQuAD und HotpotQA – herangezogen, um die Auswirkungen von Kontextlängen auf die Genauigkeit großer Sprachmodelle zu analysieren. Dabei wurde systematisch die Menge an irrelevanten Texten erhöht, während das eigentliche Antwortsignal unverändert blieb.

Die Ergebnisse zeigen, dass die Leistung der Modelle mit zunehmender Kontextlänge kontinuierlich abnimmt. Besonders stark ist der Rückgang bei Aufgaben, die mehrere Schritte des logischen Denkens erfordern. HotpotQA verzeichnet dabei fast doppelt so große Genauigkeitsverluste wie SQuAD, wenn die Texte gleichermaßen erweitert werden.

Diese Befunde unterstreichen, dass die Robustheit gegenüber langen Kontexten stark von der Art der Aufgabe abhängt. Multi‑Hop‑Reasoning‑Modelle sind dabei besonders anfällig für Kontext‑Verdünnung. Für die Bewertung der Zuverlässigkeit von Sprachmodellen, insbesondere in Szenarien mit langen Dokumenten oder retrieval‑augmented Generation, sollte die Kontextlängenrobustheit daher explizit berücksichtigt werden.