Neues Paradigma: Nichtparametrisches Unterrichten von Attention‑Lernern

Attention‑Learner, wie Transformer‑Netze, sind besonders gut darin, komplexe Zusammenhänge zwischen Sequenzen und ihren Eigenschaften zu erkennen. Doch das Training dieser Modelle ist oft sehr ressourcenintensiv. Um die Effizienz zu steigern, wurde das neue Konzept „Attention Neural Teaching“ (AtteNT) vorgestellt. Dabei wird das Lernverfahren aus Sicht des nichtparametrischen Unterrichts betrachtet: Ein Lehrer wählt gezielt ein Teilset aus Sequenz‑Eigenschaft‑Paaren aus, um die Konvergenz des Attention‑Learners zu beschleunigen.

Durch eine analytische Untersuchung der Rolle von Attention im parameterbasierten Gradientenabstieg und die Umformulierung der Lernentwicklung als funktionaler Gradientenabstieg im nichtparametrischen Unterricht zeigt AtteNT erstmals, dass das Unterrichten von Attention‑Lernern mit dem Unterrichten von wichtigkeitsadaptiven, nichtparametrischen Lernern konsistent ist. Diese Erkenntnisse führen zu einer signifikanten Steigerung der Lernleistung.

In praktischen Tests konnten Trainingszeiten um 13,01 % bei großen Sprachmodellen (LLMs) und um 20,58 % bei Vision‑Transformer‑Modellen (ViTs) reduziert werden – sowohl beim Feintuning als auch beim Training von Grund auf. Dabei bleibt die Genauigkeit unverändert, und in einigen Fällen wird sie sogar verbessert.