Neue Theorie kombiniert Konfidenz und Varianz zur besseren Pseudo‑Label‑Auswahl

In einem neuen Beitrag auf arXiv wird ein innovatives Konzept vorgestellt, das die Auswahl von Pseudo‑Labels in semi‑supervised Lernverfahren revolutioniert. Die Autoren führen die Confidence‑Variance (CoVar) Theorie ein, die auf dem Prinzip der Entropie‑Minimierung basiert und einen verlässlichen Auswahlmechanismus ohne feste Schwellenwerte liefert.

Der Kern der Methode ist ein zusammengesetztes Reliabilitätsmaß, das die maximale Konfidenz (Maximum Confidence, MC) mit der Residual‑Class‑Variance (RCV) kombiniert. Während MC die Wahrscheinlichkeit des höchstwahrscheinlichen Klassifikationsausgangs misst, beschreibt RCV, wie stark die übrigen Klassen verteilt sind. Pseudo‑Labels gelten als zuverlässig, wenn sie sowohl eine hohe MC als auch eine niedrige RCV aufweisen. Durch die Gewichtung von RCV in Abhängigkeit von der Konfidenz korrigiert CoVar das häufige Problem überzogener Modelle, die zwar hohe Konfidenz ausgeben, aber dennoch unzuverlässig sind.

Die Autoren formulieren die Auswahl von Pseudo‑Labels als ein spektrales Relaxationsproblem, das die Trennbarkeit im kombinierten Konfidenz‑Varianz‑Raum maximiert. Dadurch entsteht ein Schwellenwert‑freier Mechanismus, der automatisch zwischen hoch‑ und niedrig‑zuverlässigen Vorhersagen unterscheidet. CoVar kann als Plug‑in in bestehende semi‑supervised Verfahren integriert werden, ohne deren Architektur grundlegend zu verändern.

In umfangreichen Experimenten auf den Datensätzen PASCAL VOC 2012, Cityscapes, CIFAR‑10 und Mini‑ImageNet zeigte CoVar konsistente Verbesserungen gegenüber etablierten Baselines. Die Leistung blieb stabil, unabhängig von unterschiedlichen Label‑Verhältnissen und Netzwerk‑Backbones. Diese Ergebnisse unterstreichen, dass die Kombination aus Konfidenz und Varianz ein robustes Kriterium für die Auswahl von Pseudo‑Labels darstellt und damit die Effektivität semi‑supervised Lernmethoden signifikant steigert.