Deep Learning Modelle: gute Kalibrierung, aber Unsicherheit bei unbekannten Daten

Ein neuer Beitrag auf arXiv untersucht, wie zuverlässig moderne Machine‑Learning‑Algorithmen Unsicherheiten bei binären Klassifikationsaufgaben angeben. Die Autoren betonen, dass statistische Methoden mit zugehörigen Unsicherheitsabschätzungen die Grundlage wissenschaftlicher Erkenntnisse bilden, insbesondere in den Naturwissenschaften.

Im Fokus stehen sechs unterschiedliche probabilistische Modelle: ein neuronales Netzwerkensemble, ein Ensemble mit Konfliktverlust, evidenzbasiertes Deep Learning, ein einzelnes neuronales Netzwerk mit Monte‑Carlo‑Dropout, die Gaußsche Prozessklassifikation sowie ein Dirichlet‑Prozess‑Mischmodell. Durch die Kombination von approximativem Bayesschem Inferenzrahmen und sorgfältig erstellten synthetischen Datensätzen wurden die Modelle auf ihre Kalibrierung und ihre Fähigkeit, bei Aus‑der‑Verteilung‑Daten (out‑of‑distribution) höhere Unsicherheiten anzuzeigen, getestet.

Die Ergebnisse zeigen, dass alle Modelle eine gute Kalibrierung aufweisen. Allerdings liefern die Deep‑Learning‑basierten Ansätze – egal ob Ensemble, Konfliktverlust, evidenzbasiert oder mit Monte‑Carlo‑Dropout – keine konsistenten Unsicherheitsabschätzungen, die das Fehlen experimenteller Evidenz bei unbekannten Daten widerspiegeln. Die klassischen Modelle, wie der Gaußsche Prozess und das Dirichlet‑Prozess‑Mischmodell, zeigen dagegen ein besseres Verhalten in diesem Aspekt.

Die Studie liefert somit ein klares Referenzbeispiel für Forscher, die neue Methoden zur Unsicherheitsquantifizierung entwickeln. Sie verdeutlicht, dass selbst gut kalibrierte Deep‑Learning‑Modelle noch nicht zuverlässig mit unbekannten Daten umgehen können und fordert die Community auf, gezielt an robusteren Unsicherheitsabschätzungen zu arbeiten.