Neuer Ansatz steigert semi-supervised kontrastives Lernen durch Entropie‑basierte Gewichtung

In einer kürzlich veröffentlichten Studie auf arXiv wird ein innovativer Verlustterm vorgestellt, der die Kontraste im semi‑supervised Lernen verbessert. Der Ansatz nutzt die Entropie der Vorhersageverteilung, um die Zuverlässigkeit jedes Beispiels zu schätzen und gewichtet die Beiträge entsprechend.

Traditionell werden bei semi‑supervised kontrastiven Methoden Pseudo‑Labels nur für Proben vergeben, deren höchste Vorhersagewahrscheinlichkeit einen festen Schwellenwert überschreitet. Dadurch bleiben viele potenziell nützliche Daten ungenutzt. Der neue Ansatz erlaubt die Zuordnung von Pseudo‑Labels auch für Proben mit niedrigerer Konfidenz, indem die Entropie als Maß für die Unsicherheit herangezogen wird.

Durch die adaptive Gewichtung, die sowohl die Konfidenz des Ankers als auch des positiven Paares berücksichtigt, wird das kontrastive Lernen stärker auf die Qualität der Daten abgestimmt. Experimentelle Ergebnisse zeigen, dass die Methode die Klassifikationsgenauigkeit erhöht und die Lernstabilität insbesondere bei wenigen gelabelten Beispielen verbessert.