Perplexität neu gedacht: Eingabelänge beeinflusst Bewertung von LLMs

Die Perplexität gilt seit langem als Standardmaß für die Vorhersagequalität großer Sprachmodelle. Doch neue Untersuchungen zeigen, dass sie stark von der Länge der Eingabe beeinflusst wird – besonders wenn lange, irrelevante Texte einfließen. Das neue arXiv‑Veröffentlichung 2602.04099v1 adressiert dieses Problem und liefert einen systematischen Blick auf die Eingabelängen‑Bias.

Im Zentrum steht „LengthBenchmark“, ein Evaluation‑Framework, das Eingabelänge, Protokollgestaltung und systemweite Kosten explizit miteinander verknüpft. Die Autoren testen mehrere führende LLMs mit zwei Scoring‑Methoden – direkter Akkumulation und festem Fenster‑Sliding – über unterschiedliche Kontextlängen hinweg. Zusätzlich werden Latenz, Speicherverbrauch und Auswertungskosten erfasst, sodass die Ergebnisse unmittelbar auf reale Einsatzszenarien übertragen werden können.

Die Ergebnisse sind eindeutig: Der Bias durch Eingabelänge bleibt sowohl bei vollem Präzisions‑ als auch bei quantisierten Modellen bestehen. Damit wird deutlich, dass die Länge der Eingabe ein generelles Phänomen ist, das Fairness und Effizienz von Sprachmodellen untergräbt. Diese Erkenntnisse fordern Benchmark‑Designer und Entwickler auf, Eingabelängen stärker zu berücksichtigen, um zuverlässigere und ressourcenschonendere Systeme zu schaffen.