Dropout als Kompressionstool: Effizientere Einflussfunktion für große Modelle
In der KI-Forschung ist es entscheidend, zu verstehen, wie einzelne Trainingsdaten das Verhalten eines Modells beeinflussen. Die Einflussfunktion liefert dafür ein theoretisches Fundament, indem sie quantifiziert, welchen Effekt ein bestimmtes Trainingsbeispiel auf die Leistung bei einem Testbeispiel hat. Doch die Berechnung dieser Funktion ist bei modernen, großen Modellen extrem rechen- und speicherintensiv, weil die beteiligten Gradienten die Größe des gesamten Modells erreichen.
