Neue Theorie erklärt, wann Random Projection Einflussfunktionen erhält

In der modernen KI‑Forschung sind Einflussfunktionen ein zentrales Werkzeug, um zu verstehen, wie einzelne Datenpunkte das Training eines Modells beeinflussen. Diese Funktionen haben die Form gᵀF⁻¹g′, wobei F ein Krümmungsoperator ist. Für überparametrisierte Modelle, die oft Millionen von Parametern besitzen, ist die direkte Berechnung oder Inversion von F jedoch praktisch unmöglich.

Um dieses Problem zu lösen, setzen viele Forscher auf Random Projection, also die Projektion der Daten in einen viel kleineren Raum mittels einer Skizze P. Die klassische Begründung dafür stützt sich auf den Johnson–Lindenstrauss‑Lemma, der die Erhaltung der euklidischen Geometrie für feste Datensätze garantiert. Doch dieser Beweis berücksichtigt nicht, wie sich die Skizze beim Invertieren von F verhält, und lässt wichtige Techniken wie Ridge‑Regularisierung oder strukturierte Krümmungsapproximationen außen vor.

Die neue Arbeit liefert eine einheitliche Theorie, die genau angibt, wann Random Projection Einflussfunktionen zuverlässig erhält. Für unregularisierte Projtionen gilt: die Skizze muss auf dem Bildraum von F injektiv sein, was bedeutet, dass die Projektion mindestens so viele Zeilen haben muss wie der Rang von F. Bei regularisierten Projektionen verändert Ridge‑Regularisierung die Anforderungen grundlegend – die Genauigkeit hängt nun von der effektiven Dimension von F im Regularisierungsskalierung ab. Und für Kronecker‑faktorierte Krümmungen F = A ⊗ E bleiben die Garantien erhalten, wenn die Skizze als Produkt P = P_A ⊗ P_E aufgebaut wird, selbst wenn die Zeilen dieser Skizze korreliert sind.

Darüber hinaus untersucht die Studie, wie die Theorie außerhalb des Bildraums funktioniert, und liefert damit ein umfassendes Bild der Grenzen und Möglichkeiten von Random Projection in der Analyse von Einflussfunktionen. Diese Erkenntnisse eröffnen neue Wege, um skalierbare und theoretisch fundierte Attributionsmethoden für große neuronale Netzwerke zu entwickeln.