Neues Verfahren nutzt Graphenkrümmung zur Analyse neuronaler Netzwerke

Eine aktuelle Studie auf arXiv präsentiert einen innovativen Ansatz, um die wichtigsten Verbindungen in neuronalen Netzwerken (NN) zu identifizieren. Anstatt klassische Informationstheorie zu verwenden, setzt die Arbeit auf die Ollivier‑Ricci‑Krümmung (ORC), ein Konzept aus der Graphentheorie, das bereits in Bereichen wie Verkehrs- und Sozialnetzwerken erfolgreich eingesetzt wurde.

Der Kern des Ansatzes besteht darin, aus der Struktur eines NN einen Graphen zu konstruieren und die ORC als „neuronale Krümmung“ (NC) zu nutzen. Durch die Analyse von Aktivierungsmustern über mehrere Eingabeproben hinweg werden die Krümmungswerte für jede Kante berechnet. Kanten mit negativer NC gelten als Engpässe und sind entscheidend für die Gesamtverbindung des Netzwerks, während positive NC-Kanten weniger wichtig sind.

Um die Wirksamkeit der Methode zu demonstrieren, wurden gezielte Pruning‑Experimente durchgeführt. Das Entfernen von Kanten mit negativer Krümmung führte zu einem schnellen Leistungsabfall des Modells, während das Abschneiden von positiven Kanten kaum Auswirkungen hatte. Die Tests umfassten verschiedene Architekturen, die auf den Bilddatensätzen MNIST, CIFAR‑10 und CIFAR‑100 trainiert wurden.

Die Ergebnisse zeigen, dass die neuronale Krümmung ein vielversprechendes Werkzeug zur Priorisierung von Netzwerkverbindungen darstellt und damit neue Möglichkeiten für robuste Modellanalyse und gezielte Modellreparatur eröffnet.