Credal Ensemble Distillation: Kompakte Modelle für Unsicherheitsabschätzung

Ein neues Verfahren namens Credal Ensemble Distillation (CED) reduziert die hohen Kosten von Deep Ensembles (DE) bei der Vorhersage von Unsicherheiten. CED komprimiert ein Ensemble aus mehreren Modellen zu einem einzigen Modell, dem CREDIT, das statt einer einzigen Softmax-Verteilung Intervallwahrscheinlichkeiten für jede Klasse liefert. Diese Intervalle bilden einen credalen Satz – eine konvexe Menge möglicher Wahrscheinlichkeitsverteilungen – und ermöglichen so eine differenzierte Abschätzung von Unsicherheiten.

Durch die Verwendung von Intervallwahrscheinlichkeiten kann CREDIT sowohl aleatorische als auch epistemische Unsicherheiten erkennen und quantifizieren. Im Vergleich zu herkömmlichen Deep Ensembles spart CED erheblich an Rechenleistung und Speicherbedarf während der Inferenz, ohne die Qualität der Unsicherheitsabschätzung zu beeinträchtigen. Die Autoren haben CED an mehreren Out-of-Distribution-Detektionsbenchmarks getestet und gezeigt, dass die Methode entweder besser oder gleichwertig abschneidet, während sie die Inferenzzeit deutlich reduziert.

CED bietet damit einen vielversprechenden Ansatz für den Einsatz von Unsicherheitsquantifizierung in ressourcenbeschränkten Anwendungen. Durch die Kombination von Modellkompression und präziser Unsicherheitsabschätzung eröffnet das Verfahren neue Möglichkeiten für robuste und zuverlässige KI-Systeme in der Praxis.