ReLU-Netzwerke im Fokus: Trainingseffekte sichtbar gemacht
Eine neue Analyse auf arXiv (2511.05628) zeigt, wie man tiefgehende ReLU‑Netze in ein einzelnes lineares Modell überführt, um deren Lernverhalten besser zu verstehen. Durch die Aktivierungsmuster der ReLU‑Einheiten entsteht für jedes Eingabeexemplar ein einzigartiger Rechenpfad, der bestimmte Gewichte ausblendet. Die aktiven Gewichte aller Schichten werden zu einer effektiven Gewichtsmatrix W_eff(x) zusammengefasst, die das Eingabe‑Ausgabe‑Verhältnis für diesen Sample direkt beschreibt.
Die Studie verfolgt die Entwicklung dieser effektiven Gewichte während des Trainings. Dabei wird deutlich, dass die Gewichte für Samples derselben Klasse im Laufe der Zeit immer ähnlicher werden, während sie für unterschiedliche Klassen auseinanderdriften. Diese Konvergenz und Divergenz liefert einen klaren Hinweis darauf, wie das Netzwerk Klassengrenzen bildet und semantische Repräsentationen entwickelt.
Das vorgestellte Verfahren eröffnet ein neues, lineares Analyse‑Framework, das die Komplexität von ReLU‑Netzen reduziert, ohne dabei wichtige Lernprinzipien zu verlieren. Es bietet Forschern ein praktisches Werkzeug, um die internen Mechanismen tieferer neuronaler Netze zu interpretieren und die Entstehung von Entscheidungsgrenzen besser nachzuvollziehen.