Neues Verfahren: Posterior‑Sampling‑Coresets beschleunigen Deep‑Learning‑Training

Mit dem stetigen Wachstum von Deep‑Learning‑Modellen steigen die Rechenkosten rasant. Um diese Herausforderung zu meistern, setzen Forscher vermehrt auf Coreset‑Auswahl, bei der kleine, repräsentative Teilmengen der Daten das Training beschleunigen, ohne die Leistung zu beeinträchtigen. Besonders vielversprechend sind dabei gradientbasierte Ansätze, die solide theoretische Grundlagen und praktische Vorteile bieten – vor allem bei knappen Datenbudgets.

Allerdings stoßen klassische Methoden an ihre Grenzen: Einfache SGD‑Schritte können als überraschend starke Basis dienen, und die Repräsentativität verschlechtert sich, wenn die Verlustkurve im Laufe der Zeit nicht mehr übereinstimmt. Das neue Verfahren verbindet Posterior‑Sampling mit der Analyse von Verlustlandschaften, wodurch robuste Coresets auch bei stark korrupten Datensätzen entstehen. Durch die Einführung einer geglätteten Verlustfunktion, die auf den Modellgewichten basiert, wird die Stabilität und Generalisierung verbessert, ohne die Rechenzeit zu erhöhen.

Zusätzlich liefert die Arbeit eine umfassende Konvergenzanalyse des sampling‑basierten Auswahlverfahrens. In umfangreichen Experimenten zeigt sich, dass die Methode das Training deutlich beschleunigt und die Generalisierung gegenüber dem aktuellen Stand der Technik übertrifft – ein bedeutender Fortschritt für effizientes Deep‑Learning.