Neuer Ansatz: Klassifikatoren gegen Lernkuriositäten mit gezielter Jacobian-Regularisierung

Neuer Forschungsbeitrag aus dem arXiv-Repository präsentiert einen innovativen Weg, um das Problem von „Shortcut Learning“ in tiefen neuronalen Netzen zu bekämpfen. Shortcut Learning beschreibt die Neigung von Modellen, leicht erlernbare, aber irreführende Korrelationen in den Trainingsdaten zu nutzen, was zu schweren Ausfällen bei der Generalisierung außerhalb der Trainingsverteilung führt.

Im Gegensatz zu bisherigen Ansätzen, die sich auf robuste Repräsentationen konzentrieren und den latenten Raum in Kern- und spurielle Komponenten aufteilen, schlägt die Arbeit vor, die Robustheit direkt in der Klassifikationsfunktion zu verankern. Durch die Nutzung eines disentangled latent space, in dem spurious und core Features klar getrennt sind, kann das Modell gezielt die kurzlebigen, label‑korrelierten Merkmale identifizieren.

Die Methode arbeitet mit gezielter, anisotroper latenter Rauschinjektion während des Trainings – eine Form der Jacobian-Regularisierung, die den Klassifikator dazu zwingt, die spurious Features zu ignorieren und stattdessen komplexere, kernbasierte semantische Signale zu nutzen. Das Ergebnis sind bislang bestrebenen Leistungen bei etablierten Benchmarks für Shortcut Learning und zeigt, dass ein robustes Modell nicht zwingend eine robuste Repräsentation benötigt.