Datenaugmentation: Mit neuen Techniken Rückschlüsse auf neuronale Netzgewichte möglich

In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass man die Gewichte eines neuronalen Netzwerks aus einer ausreichenden Anzahl von Eingabe‑Ausgabe‑Abfragen rekonstruieren kann. Das Verfahren nutzt ein Lehrer‑Schüler‑Setup: Der Lehrer liefert ein Datenset seiner eigenen Abbildung, und ein Schüler‑Netzwerk wird darauf trainiert, diese Abbildung zu imitieren.

Traditionelle Ansätze scheitern, wenn die Anzahl der Parameter des Lehrers die Menge der Trainingsdaten übersteigt, weil das Schüler‑Netzwerk dann zu stark an den Abfragen überanpasst. Die Autoren haben deshalb neue Datenaugmentationstechniken entwickelt, die gezielt die Repräsentationsräume der versteckten Schichten des Lehrers erfassen.

Im Vergleich zu klassischen Augmentierungen wie Drehen, Spiegeln oder Rauschen zeigen die neuen Methoden einen deutlichen Fortschritt. Durch die optimierten Transformationen kann das Schüler‑Netzwerk nun Netzwerke mit bis zu 100‑fach mehr Parametern als Trainingsdatenpunkte rekonstruieren – ein signifikanter Sprung in der Skalierbarkeit des Reverse‑Engineering‑Ansatzes.