Ein +1 % reicht nicht: Paired Bootstrap-Protokoll für kleine Verbesserungen

In der aktuellen Forschung im maschinellen Lernen berichten viele Arbeiten von 1‑2 % besserer Ergebnisse, basierend auf einem einzigen Lauf eines Modells. Diese scheinbaren Fortschritte sind jedoch stark von Zufalls­seed, Daten­reihenfolge und Implementierungsdetails abhängig und werden selten mit Unsicherheits­schätzungen oder Signifikanz­tests begleitet. Dadurch bleibt unklar, ob ein berichteter +1 % tatsächlich ein echter algorithmischer Gewinn ist oder lediglich Rauschen darstellt.

Um dieses Problem unter realistischen Rechen­budgets zu lösen, stellen die Autoren ein einfaches, PC‑freundliches Evaluations­protokoll vor. Es kombiniert gepaarte Mehr‑Seed‑Runs, bias‑corrected and accelerated (BCa) Bootstrap‑Konfidenz­intervalle und einen Sign‑Flip‑Permutationstest auf den per‑Seed‑Differenzen. Das Verfahren ist bewusst konservativ und soll als Schutzmechanismus gegen übertriebene Behauptungen dienen.

Die Methode wurde auf CIFAR‑10, CIFAR‑10N und AG News getestet, wobei synthetische Szenarien ohne Verbesserung, mit kleiner und mit mittlerer Verbesserung simuliert wurden. Einzelne Läufe und unpaarte t‑Tests deuten häufig auf signifikante Gewinne von 0,6‑2,0 % hin, besonders bei Textdaten. Mit lediglich drei Seeds erkennt das gepaarte Protokoll jedoch nie eine Signifikanz in diesen Fällen.

Die Autoren argumentieren, dass ein solch konservatives Evaluations­schema die sicherere Standard­wahl ist, wenn nur wenige Läufe möglich sind und die zu bewertenden Verbesserungen klein sind. Dieses Vorgehen bietet Forschern einen robusten Rahmen, um echte Fortschritte von zufälligem Rauschen zu unterscheiden.