Generative Cross-Entropy: Mehr Genauigkeit & bessere Kalibrierung bei DNNs

Neuer Forschungsbeitrag aus dem Bereich der künstlichen Intelligenz zeigt, wie man die Genauigkeit und die Vertrauensschätzung von tiefen neuronalen Netzen gleichzeitig verbessern kann. Der Ansatz, der als Generative Cross-Entropy (GCE) bezeichnet wird, nutzt die generative Perspektive, um die klassische Kreuzentropie zu erweitern. Dabei wird die Wahrscheinlichkeit \(p(x|y)\) maximiert und ein klassenweiser Konfidenzregulierer eingebaut, was die Modelle weniger übermäßig zuversichtlich macht.

Traditionelle Deep‑Learning‑Modelle neigen dazu, übermäßig zuversichtlich zu sein, weil sie beim Training stark auf die negative Log‑Likelihood (NLL) optimieren. Varianten des Focal Loss können dieses Problem mildern, führen aber häufig zu einem Verlust an Genauigkeit. GCE löst dieses Dilemma, indem es die Vorteile generativer und diskriminativer Klassifikatoren kombiniert. Unter milden Bedingungen ist GCE sogar strikt korrekt, was bedeutet, dass die geschätzten Wahrscheinlichkeiten zuverlässig sind.

In umfangreichen Experimenten auf den Datensätzen CIFAR‑10, CIFAR‑100, Tiny‑ImageNet sowie einem medizinischen Bildbenchmark konnte GCE sowohl die Klassifikationsgenauigkeit als auch die Kalibrierung deutlich steigern. Besonders bei stark unausgeglichenen (long‑tailed) Daten zeigt sich ein deutlicher Vorteil. Durch die Kombination mit adaptive piecewise temperature scaling (ATS) erreicht GCE eine Kalibrierung, die mit den besten Focal‑Loss‑Varianten konkurriert, ohne dabei die Genauigkeit zu beeinträchtigen.

Diese Ergebnisse deuten darauf hin, dass Generative Cross‑Entropy ein vielversprechender Weg ist, um robuste und verlässliche KI‑Modelle zu entwickeln, die sowohl präzise Vorhersagen liefern als auch realistische Unsicherheitsabschätzungen bieten.