Neue Methode reduziert Embedding‑Crowding und verbessert LLM‑Reasoning

In der Welt der großen Sprachmodelle (LLMs) spielt die Art und Weise, wie Tokens ausgewählt werden, eine entscheidende Rolle für die Qualität der Antworten. Traditionelle Techniken wie Temperatur‑ und Truncation‑Sampling verändern die Wahrscheinlichkeitsverteilung der nächsten Token, berücksichtigen jedoch nur die reinen Token‑Wahrscheinlichkeiten und vernachlässigen die feinen geometrischen Beziehungen im Embedding‑Raum.

Forscher haben ein neues Phänomen entdeckt, das sie „Embedding‑Space‑Crowding“ nennen: Die Wahrscheinlichkeitsmasse der nächsten Token konzentriert sich stark auf Tokens, die im Embedding‑Raum räumlich nahe beieinander liegen. Diese Konzentration wirkt sich direkt auf die Fähigkeit der Modelle aus, komplexe logische Aufgaben zu lösen, insbesondere bei mathematischen Problemen.

Auf Basis dieser Erkenntnis wurde CraEG entwickelt – ein Plug‑and‑Play‑Sampling‑Ansatz, der die Embedding‑Geometrie nutzt, um die Verteilung gezielt umzugewichten. CraEG ist trainingsfrei, arbeitet in einem einzigen Durchlauf und lässt sich problemlos mit bestehenden Sampling‑Strategien kombinieren.

Experimentelle Tests an verschiedenen Modellen und Benchmark‑Datensätzen zeigen, dass CraEG die Generierungsleistung deutlich steigert. Die Modelle profitieren von höherer Robustheit und einer größeren Vielfalt an Ausgaben, ohne dass zusätzliche Trainingsschritte erforderlich sind.