Robuste Generalisierung: Wie Architektur, Vortraining und Optimierung wirken

Deep‑Learning‑Modelle im Bildbereich sind seit langem anfällig für winzige Eingabestörungen. Traditionell wurde die Robustheit dadurch erreicht, Modelle von Grund auf neu zu trainieren – also mit zufälliger Initialisierung – und dabei spezielle Verlustfunktionen einzusetzen.

In den letzten Jahren hat sich die robuste Feinabstimmung als effizientere Alternative etabliert. Anstatt ein Modell neu zu lernen, werden vortrainierte Netzwerke angepasst, um sowohl die Vorhersageleistung als auch die Widerstandsfähigkeit zu maximieren. Dabei spielen mehrere Designentscheidungen eine Rolle: die Optimierungsstrategie (z. B. vollständiges oder partielles Update), die spezielle Verlustfunktion, die Architekturart und -größe sowie die Art der vortrainierten Repräsentation.

Die vorliegende Studie untersucht diese Faktoren systematisch. Sie umfasst sechs Datensätze, 40 vortrainierte Architekturen, zwei spezialisierte Verluste und drei Anpassungsprotokolle – insgesamt 1 440 Trainingskonfigurationen und 7 200 Robustheitsmessungen über fünf Störungstypen. Damit stellt sie das bislang umfangreichste Benchmarking der robusten Feinabstimmung dar.

Die Ergebnisse zeigen, dass zwar aufmerksamkeitbasierte Architekturen und robuste vortrainierte Repräsentationen beliebt sind, aber auch klassisch vortrainierte Convolutional Neural Networks, die auf großen Datensätzen in einer überwachten Weise trainiert wurden, eine starke robuste Generalisierung liefern. Diese Erkenntnisse liefern wertvolle Hinweise für die Praxis bei der Entwicklung widerstandsfähiger Bildverarbeitungsmodelle.