Twin-Boot: Optimierung mit Unsicherheitsbewusstsein durch Online‑Bootstrap

Standard‑Gradient‑Descent liefert zwar punktuelle Schätzungen, aber keine Aussage über die Zuverlässigkeit dieser Schätzungen. In Modellen mit vielen Parametern und wenig Daten kann das leicht zu Überanpassung führen. Die klassische Bootstrap‑Methode zur Unsicherheitsabschätzung ist für tiefes Lernen zu aufwendig, weil sie viele Kopien des Modells trainieren muss und die Ergebnisse erst nach dem Training ausgewertet werden.

Mit Twin‑Bootstrap Gradient Descent (Twin‑Boot) wird das Bootstrapping direkt in den Optimierungsprozess integriert. Zwei identische Netzwerke werden parallel auf unabhängigen Bootstrap‑Stichproben trainiert. Durch periodische Mittelwert‑Resets bleiben die beiden Modelle im selben lokalen Minimum, sodass ihre Divergenz die lokale Unsicherheit widerspiegelt. Diese Unsicherheit wird dann während des Trainings genutzt, um Gewichte adaptiv zu sampeln und so eine Regularisierung zu erzeugen, die flachere Lösungen bevorzugt.

In tiefen neuronalen Netzen und komplexen hochdimensionalen Inversen Problemen führt Twin‑Boot zu besser kalibrierten Vorhersagen, verbesserter Generalisierung und liefert gleichzeitig interpretierbare Unsicherheitskarten. Das Verfahren kombiniert die Vorteile von Bootstrap‑Unsicherheit mit einer effizienten, datengetriebenen Optimierung – ein bedeutender Fortschritt für robuste KI‑Modelle.