TED: Training‑freie Distillation für multimodale Logik
In einer neuen Studie von ArXiv (2603.26778v1) wird TED vorgestellt – ein völlig training‑freies Distillationsverfahren, das die klassische Übertragung von Wissen aus einem Lehrer‑Modell in die Parameter eines Schülers…
- In einer neuen Studie von ArXiv (2603.26778v1) wird TED vorgestellt – ein völlig training‑freies Distillationsverfahren, das die klassische Übertragung von Wissen aus ei…
- Stattdessen wird das Wissen in Form von „Erfahrungen“ in den Prompt des Schülers eingebettet.
- Der Ansatz funktioniert so: Für jede Eingabe erzeugt der Schüler mehrere mögliche Denkpfade.
In einer neuen Studie von ArXiv (2603.26778v1) wird TED vorgestellt – ein völlig training‑freies Distillationsverfahren, das die klassische Übertragung von Wissen aus einem Lehrer‑Modell in die Parameter eines Schülers vermeidet. Stattdessen wird das Wissen in Form von „Erfahrungen“ in den Prompt des Schülers eingebettet.
Der Ansatz funktioniert so: Für jede Eingabe erzeugt der Schüler mehrere mögliche Denkpfade. Parallel dazu liefert der Lehrer seine eigene Lösung. Der Lehrer vergleicht die Schülerpfade mit seiner eigenen Logik und der korrekten Antwort, extrahiert daraus allgemeine Erfahrungsmuster und speichert diese. Diese Erfahrungen werden kontinuierlich verfeinert und im Prompt des Schülers aktualisiert.
Ein zentrales Problem bei kontextbasierten Distillationen ist das unkontrollierte Wachstum und die Ansammlung von Rauschen. TED löst dies mit einer Kompressions‑Methode, die Nutzungsstatistiken verfolgt und wenig nützliche Erfahrungen selektiv zusammenführt, umschreibt oder entfernt.
Die Experimente auf multimodalen Reasoning‑Benchmarks – MathVision und VisualPuzzles – zeigen, dass TED die Leistung signifikant steigert. Auf MathVision verbessert TED das Modell Qwen3‑VL‑8B von 0,627 auf 0,702. Auf VisualPuzzles erreicht es 0,561, nachdem es lediglich 100 Trainingsbeispiele erhalten hat. In diesem ressourcenarmen, no‑update‑Setting ist TED mit vollständig trainierten Modellen konkurrenzfähig.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.