Neurale Netzwerke: Eindeutige Repräsentationen im Fokus – Informationstheorie

In einer neuen Studie auf arXiv wird gezeigt, dass neuronale Netzwerke nicht nur Aufgaben lösen, sondern auch ihre internen Repräsentationen eindeutig codieren können. Die Forscher haben ein Informations­theoretisches Maß entwickelt, das die „Repräsentations­ambigu­ität“ als bedingte Entropie H(I|R) definiert – also die Unsicherheit darüber, welche Interpretation I zu einer gegebenen Repräsentation R gehört.

Um die Idee zu prüfen, wurden MNIST‑Digit‑Klassifikatoren mit zwei unterschiedlichen Lernmethoden trainiert: Standard‑Backpropagation und Dropout‑Training. Obwohl beide Modelle die gleiche Klassifikationsgenauigkeit erreichten, zeigte sich ein deutlicher Unterschied in der Klarheit ihrer internen Darstellungen. Bei Dropout‑Netzwerken konnten die Autoren mit einem lernenden Decoder oder durch geometrische Übereinstimmung die Identität der Ausgangsneuronen exakt (100 %) bestimmen. Bei den Standard‑Backpropagation‑Netzwerken lag die Genauigkeit bei lediglich 38 % – ein Hinweis darauf, dass die interne Repräsentation dort viel mehr Mehrdeutigkeit aufweist.

Ein weiteres Ergebnis der Arbeit ist die Möglichkeit, die räumliche Position der Eingabe­neuronen aus der Netzwerk­verbindung zu rekonstruieren. Mit einem R²‑Wert von bis zu 0,844 konnten die Forscher die Positionen nahezu perfekt vorhersagen, was die hohe strukturelle Ordnung in den Gewichten unterstreicht.

Die Studie liefert damit ein quantitativen Werkzeug, um die Ambiguität von Repräsentationen in künstlichen neuronalen Systemen zu messen, und zeigt, dass die Klarheit der internen Darstellungen unabhängig von der äußeren Leistungsfähigkeit sein kann. Diese Erkenntnisse könnten wichtige Implikationen für die Entwicklung von transparenten und erklärbaren KI‑Modellen haben.