Starke Modelle lernen von schwachen Lehrern: Neue Skalierungsgesetze

In der modernen KI‑Forschung ist es üblich, ein bereits trainiertes Modell zu nutzen, um Daten zu kennzeichnen, und diese gekennzeichneten Daten anschließend zur Schulung eines leistungsfähigeren Modells einzusetzen. Dieses Vorgehen, das als „weak‑to‑strong generalization“ bezeichnet wird, zeigt, dass ein starkes „Student“-Modell, das mit unvollkommenen Labels eines schwachen „Teacher“-Modells trainiert wird, den Teacher sogar übertreffen kann.

Die neue Studie untersucht genau dieses Phänomen bei Random Feature Ridge Regression (RFRR). Der zentrale Beitrag ist die Ableitung einer deterministischen Gleichwertigkeit für den zusätzlichen Testfehler des Students, der auf den Labels des Teachers basiert. Mit dieser Gleichwertigkeit lassen sich nun klare Regime identifizieren, in denen die Skalierungsgesetze des Students die des Teachers übertreffen – sowohl in bias‑dominierten als auch in variance‑dominierten Situationen.

Besonders bemerkenswert ist, dass der Student unter bestimmten Bedingungen den minimax‑optimalen Fehler erreicht, selbst wenn der Testfehler des Teachers mit zunehmender Stichprobengröße nicht abnimmt. Diese Erkenntnisse liefern neue theoretische Grundlagen dafür, wie man aus schwachen Modellen starkere Modelle bauen kann, und eröffnen Wege, die Effizienz von Lernalgorithmen weiter zu steigern.