<p>Gezielte Distillation: Domänenexperten aus großen ML-Modellen extrahieren</p> <p>In der Welt der künstlichen Intelligenz geht es oft darum, die Leistungsfähigkeit großer, komplexer Modelle – die sogenannten „Lehrer“ – auf kleinere, ressourcenschonende Varianten zu übertragen. Diese Technik, bekannt als Knowledge Distillation, ist besonders wichtig, wenn Modelle in Umgebungen mit begrenzter Rechenleistung eingesetzt werden sollen.</p> <p>Ein häufiges Problem dabei ist, dass nur ein kleiner Teil der gesamt