Credal Ensemble Distillation: Kompakte Modelle für Unsicherheitsabschätzung
Ein neues Verfahren namens Credal Ensemble Distillation (CED) reduziert die hohen Kosten von Deep Ensembles (DE) bei der Vorhersage von Unsicherheiten. CED komprimiert ein Ensemble aus mehreren Modellen zu einem einzigen Modell, dem CREDIT, das statt einer einzigen Softmax-Verteilung Intervallwahrscheinlichkeiten für jede Klasse liefert. Diese Intervalle bilden einen credalen Satz – eine konvexe Menge möglicher Wahrscheinlichkeitsverteilungen – und ermöglichen so eine differenzierte Abschätzung von Unsicherheiten.
