ALSA: Logit‑basierte Genauigkeitsabschätzung für unbekannte Daten

Die präzise Abschätzung der Modellgenauigkeit auf bislang nicht gesehenen, unlabeled Datensätzen ist für reale Machine‑Learning‑Anwendungen entscheidend, insbesondere wenn sich die Datenverteilung ändert und die Leistung sinkt.

Aktuelle Ansätze stützen sich meist auf die Softmax‑Wahrscheinlichkeiten oder auf Ähnlichkeitsmaße zwischen Datenpunkten. Softmax‑basierte Verfahren verlieren dabei wertvolle Informationen, wenn die Logits in Wahrscheinlichkeiten umgewandelt werden, während Ähnlichkeits‑Methoden oft rechenintensiv und domänenspezifisch sind.

ALSA (Anchors in Logit Space for Accuracy estimation) löst diese Probleme, indem es direkt im Logit‑Raum arbeitet. Durch die Analyse der Aggregation und Verteilung der Logits zeigt sich eine starke Korrelation mit der tatsächlichen Modellleistung. ALSA nutzt dafür mehrere lernbare Anker im Logit‑Raum, die jeweils mit einer Einflussfunktion ausgestattet sind, um feine Variationen der Logits zu erfassen. So liefert das Verfahren robuste und genaue Schätzungen über verschiedenste Verteilungsverschiebungen hinweg.

Umfangreiche Experimente auf Bild-, Sprach- und Graph‑Benchmarks demonstrieren, dass ALSA sowohl Softmax‑ als auch Ähnlichkeits‑Baselines übertrifft. Besonders hervorzuheben ist die hohe Robustheit bei signifikanten Verteilungsänderungen, was ALSA zu einem vielversprechenden Werkzeug für die zuverlässige Modellbewertung in der Praxis macht.