Statistisches Verfahren erkennt Qualitätsverlust bei Sprachmodellen

In der aktuellen Forschung zur Optimierung von Foundation‑Modellen stehen die Reduzierung von Inferenzkosten und Latenz im Vordergrund. Dabei kommen sowohl theoretisch verlustfreie Methoden als auch Techniken ohne Genauigkeitsgarantie, wie die Quantisierung, zum Einsatz. Für jede dieser Ansätze gilt jedoch: Die Modellqualität darf nicht leiden.

Selbst bei einer Temperatur von Null können numerische Fehler dazu führen, dass die Generierungen eines Modells nicht robust bleiben. Um festzustellen, ob ein beobachteter Genauigkeitsabfall tatsächlich auf eine Degradation des Modells zurückzuführen ist oder lediglich dem Rauschen in der Evaluation entspricht, bedarf es statistischer Werkzeuge.

Die Autoren stellen ein hypothesis‑testing‑Framework vor, das auf dem McNemar‑Test basiert. Durch den Vergleich der Modellwerte für jedes einzelne Sample anstelle einer aggregierten Aufgabenbewertung lässt sich ein Qualitätsverlust effizient erkennen, während gleichzeitig die Rate an Fehlalarmen kontrolliert wird. Zusätzlich werden drei Ansätze zur Aggregation von Genauigkeitsmaßen über mehrere Benchmarks hinweg vorgestellt. Das Verfahren wurde in das weit verbreitete Open‑Source‑Tool LM Evaluation Harness integriert und in einer Fallstudie demonstriert, dass es degradierte Modelle zuverlässig identifiziert, ohne optimierte, verlustfreie Varianten zu verwechseln.

Ergebnisse zeigen, dass bereits empirische Genauigkeitsverluste von 0,3 % mit hoher Zuversicht als echte Degradation eingestuft werden können. Dieses Verfahren bietet damit Forschern und Entwicklern ein robustes Instrument, um die Integrität ihrer Sprachmodelle nach Optimierungen sicherzustellen.