Neues DRO-Framework mit variantenbasierter Radiuszuweisung steigert Netzwerkrobustheit

Veränderungen in den Datenverteilungen und das Auftreten von Minderheiten‑Subpopulationen stellen häufig die Zuverlässigkeit von tiefen neuronalen Netzwerken, die mit Empirischer Risikominimierung (ERM) trainiert wurden, in Frage. Ein neu veröffentlichtes Papier präsentiert ein adaptives, sample‑level‑basierendes DRO‑Framework (Var‑DRO), das diese Schwächen gezielt adressiert.

Traditionelle DRO‑Methoden setzen einen einzigen, globalen Robustheitsbudget fest, was zu übermäßig konservativen Modellen oder einer falschen Verteilung der Robustheit führen kann. Var‑DRO nutzt die Online‑Verlustvarianz jedes Trainingsbeispiels, um individuell angepasste Robustheitsbudgets zu vergeben. Durch die Anwendung zweigespannter, KL‑Divergenz‑ähnlicher Schranken wird das Verhältnis zwischen adversarialen und empirischen Gewichten pro Sample begrenzt, was zu einem linearen Inner‑Maximierungsproblem über ein konvexes Polytope führt. Dieses Problem lässt sich effizient mit einer Wasser‑Füll‑Lösung lösen.

Zur Stabilisierung des Trainings wird eine Warm‑Up‑Phase sowie ein linearer Ramp‑Schedule für die globale Obergrenze der Sample‑Budgets eingesetzt. Zusätzlich sorgt Label‑Smoothing für numerische Robustheit. Die Methode erfordert keine Gruppierungslabels und ist damit vollständig unsupervised.

In umfangreichen Tests auf CIFAR‑10‑C (Korruptionen), Waterbirds und dem Original‑CIFAR‑10 zeigte Var‑DRO die höchste durchschnittliche Genauigkeit gegenüber ERM und KL‑DRO. Auf Waterbirds verbessert es die Gesamtleistung und erreicht oder übertrifft dabei die Ergebnisse von KL‑DRO. Auf CIFAR‑10 bleibt es konkurrenzfähig und demonstriert den erwarteten Kompromiss, wenn Robustheit priorisiert wird.