Focal Loss vs Binary Cross-Entropy: Leitfaden für unausgewogene Klassifikation

Binary Cross‑Entropy (BCE) ist die Standardverlustfunktion für binäre Klassifikationsaufgaben. Sie funktioniert hervorragend, wenn die beiden Klassen ungefähr gleich häufig vorkommen. Bei stark unausgewogenen Datensätzen – etwa wenn die positive Klasse nur wenige Prozent der Beispiele ausmacht – verliert BCE jedoch an Wirksamkeit. Der Grund liegt darin, dass BCE Fehler beider Klassen gleich gewichtet, selbst wenn eine Klasse extrem selten ist.

Stellen Sie sich vor, ein Modell sieht ein seltenes positives Beispiel und gibt die Wahrscheinlichkeit 0,3 aus, obwohl die wahre Klasse 1 ist. Gleichzeitig sieht es ein häufiges negatives Beispiel und gibt 0,7 aus, obwohl die wahre Klasse 0 ist. Beide Fehler tragen zum gleichen Verlust bei, obwohl der Fehler im seltenen Fall viel relevanter ist. In solchen Situationen führt BCE zu einer Überbetonung der Mehrheitsklasse und vernachlässigt die wichtigen, seltenen Fälle.

Focal Loss wurde speziell entwickelt, um dieses Problem zu lösen. Es multipliziert den BCE‑Term mit einem Faktor, der große Fehler stärker gewichtet und leicht zu klassifizierende Beispiele abschwächt. Dadurch richtet sich das Modell gezielt auf die schwierigen, seltenen Beispiele und erzielt bessere Ergebnisse bei unausgewogenen Datensätzen.

Für Praktiker bedeutet das: Wenn Sie mit unausgewogenen Klassifikationsaufgaben arbeiten, sollten Sie Focal Loss in Betracht ziehen. Implementieren Sie es einfach als Ersatz für BCE in Ihrem Trainingsloop, passen Sie den Fokusparameter (γ) an Ihre Daten an und beobachten Sie die Verbesserung der Recall‑ und F1‑Scores für die Minderheitsklasse. Mit dieser Anpassung können Sie die Leistung Ihres Modells signifikant steigern, ohne die Stabilität des Trainings zu gefährden.