LLM-Prompts: Code komprimiert besser als Mathematik – das Perplexity-Paradox erklärt

Eine neue Studie aus dem arXiv-Repository (2602.15843v1) klärt ein bislang unbestätigtes Phänomen in der Welt der großen Sprachmodelle (LLMs). Forscher haben gezeigt, dass Code‑Generierung bei einer starken Kompression der Prompt‑Daten (r ≥ 0,6) weitgehend stabil bleibt, während das logische Denken in mathematischen Aufgaben allmählich an Qualität verliert. Das Ergebnis gilt nicht nur für Englisch, sondern überträgt sich auf mehrere Programmiersprachen und Schwierigkeitsgrade.

Die Autoren haben die bisherige Untersuchung von Johnson (2026) auf sechs Code‑Benchmarks – darunter HumanEval, MBPP, HumanEval+, MultiPL‑E – und vier Denk‑Benchmarks – GSM8K, MATH, ARC‑Challenge, MMLU‑STEM – ausgeweitet. Dabei bestätigten sie, dass die kritische Kompressionsschwelle bei allen Tests gleich bleibt.

Ein besonderes Highlight ist die erste per‑Token‑Perplexitätsanalyse mit 723 Tokens. Hier zeigte sich das „Perplexity‑Paradox“: Syntax‑Tokens von Code behalten hohe Perplexität, während numerische Werte in Mathematikaufgaben – obwohl sie entscheidend sind – mit niedriger Perplexität abgeschnitten werden. Durch das Einfügen von Signaturen konnten die Erfolgsraten um 34 Prozentpunkte steigen (von 5,3 % auf 39,3 %) und die Effektgröße (Cohen’s h = 0,890) wurde deutlich erhöht.

Darüber hinaus stellen die Autoren TAAC (Task‑Aware Adaptive Compression) vor, einen adaptiven Algorithmus, der die Kosten um 22 % senkt und gleichzeitig 96 % der Qualität erhält. Im Vergleich zu fester Kompression übertrifft TAAC die Leistung um 7 %. In einer Validierung mit 1.800 MBPP‑Versuchen zeigte sich, dass die Effizienz je nach Kompressionsrate stark variiert – von 3,6 % bei r = 0,3 bis zu 54,6 % bei r = 1,0.

Die Ergebnisse liefern wertvolle Einblicke für Entwickler, die LLM‑Prompts optimieren wollen, und zeigen, dass ein intelligenter, auf Aufgaben zugeschnittener Ansatz die Balance zwischen Effizienz und Genauigkeit deutlich verbessern kann.