Menschliche Korrektur von VLM-Labels verbessert Qualität und spart Aufwand

Vision‑Language‑Modelle (VLMs) haben sich als leistungsstarke Werkzeuge zur automatischen Datenannotation etabliert, doch ihre generierten Labels leiden häufig unter Rauschen und fehlenden Korrekturmechanismen. Um diese Schwächen zu überwinden, wurde das Konzept der Human‑Corrected Labels (HCLs) vorgestellt, das gezielt menschliche Korrekturen dort einsetzt, wo VLMs Diskrepanzen aufweisen. Dadurch werden nicht nur die Annotationen qualitativ hochwertiger, sondern auch die Arbeitskosten deutlich reduziert.

Der Ansatz kombiniert theoretisch fundierte Risikoberechnungen mit einem neuen Schätzer, der sowohl die menschlich korrigierten Labels als auch die ursprünglichen VLM‑Vorhersagen nutzt, um Klassifikatoren zu trainieren. Zusätzlich wird eine bedingte Wahrscheinlichkeitsmethode eingeführt, die die Labelverteilung aus einer Mischung von VLM‑Ausgaben und Modellvorhersagen ableitet. Diese Kombination ermöglicht eine robuste Handhabung von Label‑Noise.

Umfangreiche Experimente zeigen, dass HCLs die Klassifikationsleistung signifikant steigern und dabei besonders gegen Rauschen beständig bleiben. Die Ergebnisse bestätigen, dass menschliche Korrekturen in Kombination mit VLM‑Output eine effektive Lösung für praktische Weak‑Supervision‑Szenarien darstellen. Der zugehörige Code ist auf GitHub verfügbar: https://github.com/Lilianach24/HCL.git.