SEIS: Subspace-basierte Scores für Equivariance & Invariance Repräsentationen

Neurale Netzwerke müssen nicht nur Eingaben korrekt klassifizieren, sondern auch deren räumliche Struktur bewahren. Ein neues Verfahren namens SEIS (Subspace-based Equivariance and Invariance Scores) liefert dafür ein präzises Messinstrument, das die interne Organisation von Features unter geometrischen Transformationen analysiert, ohne auf Labels oder explizite Transformationsdefinitionen angewiesen zu sein.

SEIS bewertet, wie stark die Aktivierungen einer Schicht bei einer Transformation wie Rotation oder Skalierung gleichartig (equivariant) oder unverändert (invariant) bleiben. Durch die Trennung dieser beiden Eigenschaften lässt sich erkennen, ob ein Netzwerk Informationen lediglich verliert oder sie neu kodiert. In synthetischen Tests konnte SEIS bekannte Transformationen zuverlässig zurückführen, was die Validität des Ansatzes unterstreicht.

Wendet man SEIS auf trainierte Klassifikationsmodelle an, zeigt sich ein klarer Übergang: Frühere Schichten bleiben weitgehend equivariant, während tiefere Schichten zunehmend invariant werden. Datenaugmentation steigert die Invarianz, behält aber die Equivariance in den frühen Ebenen bei. Darüber hinaus demonstriert SEIS, dass Multi-Task-Learning synergistische Vorteile für beide Eigenschaften im gemeinsamen Encoder bietet und dass Skip-Verbindungen die während des Decodings verlorene Equivariance wiederherstellen.