HE-SNR: Entropie-basierte Messgröße für Mid-Training von LLMs bei SWE-Bench
Der neue Ansatz HE‑SNR (High‑Entropy Signal‑to‑Noise Ratio) verspricht, das bislang fehlende Messinstrument für die mittlere Trainingsphase großer Sprachmodelle zu liefern. Während SWE‑Bench als führender Standard zur Bewertung von LLMs in komplexen Software‑Engineering‑Aufgaben gilt, fehlt bislang ein zuverlässiger Indikator, der den Lernfortschritt während dieser Phase steuern kann.