Dropout als Kompressionstool: Effizientere Einflussfunktion für große Modelle

In der KI-Forschung ist es entscheidend, zu verstehen, wie einzelne Trainingsdaten das Verhalten eines Modells beeinflussen. Die Einflussfunktion liefert dafür ein theoretisches Fundament, indem sie quantifiziert, welchen Effekt ein bestimmtes Trainingsbeispiel auf die Leistung bei einem Testbeispiel hat. Doch die Berechnung dieser Funktion ist bei modernen, großen Modellen extrem rechen- und speicherintensiv, weil die beteiligten Gradienten die Größe des gesamten Modells erreichen.

Eine neue Methode nutzt Dropout – ein bereits etabliertes Regularisierungstool – als Mittel zur Kompression der Gradienten. Durch gezieltes Ausblenden von Neuronen werden die Gradienten stark reduziert, ohne dass wesentliche Informationen verloren gehen. Das Ergebnis ist ein deutlich geringerer Speicherbedarf und eine schnellere Berechnung der Einflussfunktion.

Die Autoren zeigen theoretisch und empirisch, dass die Dropout‑Kompression die kritischen Komponenten der Dateninfluence beibehält. Damit wird die Analyse von Trainingsdaten auf hochdimensionale Modelle praktikabel, was die Transparenz und das Vertrauen in KI-Systeme stärkt.