Neuronen speichern exponentiell viele Features – neues mathematisches Modell

Eine neue Studie aus dem Bereich der künstlichen Intelligenz liefert ein mathematisches Rahmenwerk, das die sogenannte lineare Repräsentationshypothese (LRH) von Sprachmodellen präziser definiert und quantifiziert. Die LRH besagt, dass Zwischenebenen von Sprachmodellen Merkmale linear in den Neuronenaktivierungen abbilden und diese Merkmale ebenfalls linear dekodiert werden können.

Die Forscher untersuchen, wie viele Neuronen \(d\) nötig sind, um \(m\) Merkmale sowohl linear zu repräsentieren als auch linear zugänglich zu machen. Während klassische Kompressionstheorie für \(k\)-sparse Eingaben anzeigt, dass \(d = O(k\log(m/k))\) ausreicht, wenn nichtlineare Decodierung erlaubt ist, zeigt die neue Arbeit, dass die zusätzliche Forderung nach linearer Dekodierung das Problem in den Bereich der linearen Kompression verschiebt.

Mit nahezu passenden oberen und unteren Schranken beweist die Arbeit, dass mindestens \(d = \Omega_\varepsilon\!\bigl(\frac{k^2}{\log k}\log(m/k)\bigr)\) Neuronen erforderlich sind, während \(d = O_\varepsilon(k^2\log m)\) genügt. Der Abstand zwischen den beiden Grenzen verdeutlicht, dass lineare Zugänglichkeit eine deutlich stärkere Annahme ist als reine lineare Repräsentation. Gleichzeitig bestätigt die obere Schranke, dass neuronale Netzwerke exponentiell viele Merkmale speichern können – ein theoretischer Beleg für die „Superpositionshypothese“.

Die obere Schranke basiert auf zufälligen Matrizen mit annähernd orthogonalen Spalten, während die untere Schranke auf klassischen Resultaten der linearen Kompressionstheorie aufbaut. Diese Erkenntnisse liefern ein tieferes Verständnis dafür, wie Sprachmodelle Informationen verarbeiten und welche Kapazität ihre neuronalen Schichten besitzen.