Mehrfach-Lehrer-Ensemble-Distillation: Mathematisches Rahmenwerk für Aggregation

In einer wegweisenden Erweiterung des Sparse‑KD‑Frameworks für Probabilitätsdistillation präsentiert ein neues Papier ein axiomat­isches, operatortheoretisches Modell für die Mehrfach‑Lehrer‑Ensemble‑Distillation. Statt einer festen Aggregationsformel definiert die Arbeit fünf zentrale Axiome – Konvexität, Positivität, Kontinuität, Gewichtmonotonie und Temperaturkohärenz – die gültige Aggregationsoperatoren bestimmen.

Die Autoren zeigen, dass Operatorfamilien, die diese Axiome erfüllen, existieren und nicht eindeutig sind, was mehrere zulässige Aggregationsmechanismen offenlegt. Unabhängig vom konkreten Operator liefert das Modell operatoragnostische Garantien: Es reduziert sowohl die stochastische Varianz als auch systematische Supervisory‑Bias bei heterogenen Lehrern. Zusätzlich werden Jensen‑artige Schranken, Log‑Loss‑Garantien und Sicherheits‑Attenuations‑Eigenschaften nachgewiesen.

Für Operatoren, die linear in den Lehrergewichten sind, gelten klassische Ensemble‑Varianz‑Reduktionsresultate unter Annahme unabhängiger Fehler, mit Erweiterungen auf korrelierte Fehlerregime. Das Rahmenwerk bietet damit eine solide theoretische Basis für die Distillation von Spitzenmodellen mit mehreren Lehrern und erlaubt gleichzeitig vielfältige Implementierungsstrategien.