HE-SNR: Entropie-basierte Messgröße für Mid-Training von LLMs bei SWE-Bench

Der neue Ansatz HE‑SNR (High‑Entropy Signal‑to‑Noise Ratio) verspricht, das bislang fehlende Messinstrument für die mittlere Trainingsphase großer Sprachmodelle zu liefern. Während SWE‑Bench als führender Standard zur Bewertung von LLMs in komplexen Software‑Engineering‑Aufgaben gilt, fehlt bislang ein zuverlässiger Indikator, der den Lernfortschritt während dieser Phase steuern kann.

Die Autoren führen zunächst eine rigorose Datenfilterung ein, um die Qualität der Trainingsmaterialien zu sichern. Anschließend stellen sie die „Entropie-Kompressions‑Hypothese“ vor, die Intelligenz nicht mehr als reine Top‑1‑Kompression, sondern als Fähigkeit definiert, Unsicherheit in niedriggradige, entropiekomprimierte Zustände zu strukturieren – ein Konzept, das als „angemessene Zögerlichkeit“ bezeichnet wird.

Auf Basis dieser feingranularen Entropieanalyse wird HE‑SNR als neue Metrik entwickelt. In umfangreichen Tests mit industriellen Mixture‑of‑Experts‑Modellen, die unterschiedliche Kontextfenster von 32 K bis 128 K Tokens nutzen, zeigt HE‑SNR eine deutlich höhere Robustheit und Vorhersagekraft als herkömmliche Kennzahlen wie Perplexität. Damit liefert die Arbeit sowohl theoretische Grundlagen als auch praktische Werkzeuge, um das latente Potenzial von LLMs in anspruchsvollen Engineering‑Domänen optimal zu nutzen.