Selbstdistillation ohne Labels: Konsensgating verbessert Dokumentenloses QA

In einer neuen Studie von Forschern aus dem Bereich der künstlichen Intelligenz wird gezeigt, wie ein Modell ohne externe Labels oder verifizierbare Belohnungen lernen kann. Das Verfahren nutzt die Idee der Selbstdistillation, wobei ein einzelnes Modell gleichzeitig als Tutor und Student fungiert. Der Tutor hat während des Trainings Zugriff auf ein relevantes Dokument, während der Student später nur die Frage beantwortet.

Statt die Korrektheit des Tutors anzunehmen, wird die Lernsignalstärke online aus dem Konsens mehrerer, dokumentenbasierter Denkpfade abgeleitet. Durch das Abgleichen der Antworten wird ein Zuverlässigkeitssignal erzeugt, das das Modell dazu anleitet, nur die konsistenten Pfade zu übernehmen. Diese konsensgesteuerte Distillation nutzt die gesamten Denktrajektorien des Tutors, nicht nur die Endantworten, und liefert damit ein dichteres und stabileres Lernsignal.

Die Ergebnisse sind beeindruckend: Bei asymmetrischer Bewertung steigt die Genauigkeit des dokumentenlosen Studenten von 46,0 % auf 62,0 %. Auf öffentlichen, dokumentenfreien Mathematik-Benchmarks verbessert sich die durchschnittliche Maj@8-Genauigkeit von 20,2 % auf 35,4 %. Diese Fortschritte unterstreichen das Potenzial von Konsensgating als robuste Methode für das Training von Modellen in Umgebungen ohne zuverlässige Supervision.