Modulare Jets: Mirage- vs Identifizierbarkeit in Lernpipelines diagnostizieren

In der klassischen überwachten Lernforschung wird die Qualität von Modellen vor allem durch die Vorhersagegenauigkeit auf Testdaten bewertet. Diese Messung sagt jedoch nichts darüber aus, ob die interne Zerlegung eines Modells eindeutig durch die Daten bestimmt ist. Um dieses Problem anzugehen, stellen die Autoren die Idee der Modular Jets vor – ein Werkzeug, das für Regressions- und Klassifikationspipelines entwickelt wurde.

Modular Jets nutzen die Struktur eines Aufgabenraums, eine modulare Zerlegung des Modells und modulare Repräsentationen, um sogenannte empirische Jets zu schätzen. Diese Jets sind lokale lineare Reaktionskarten, die beschreiben, wie jedes Modul auf kleine, strukturierte Eingabeänderungen reagiert. Auf dieser Basis definieren die Forscher zwei wichtige Konzepte: Mirage‑Regime und Identifizierbarkeit.

Im Mirage‑Regime führen verschiedene, voneinander unterschiedliche modulare Zerlegungen zu identischen Jets, sodass sie aus Beobachtungssicht nicht unterscheidbar sind. Im Identifizierbaren Regime hingegen lassen sich die Jets eindeutig einer bestimmten Zerlegung zuordnen – bis auf natürliche Symmetrien. Für zwei‑Modul‑Lineare‑Regression‑Pipelines beweisen die Autoren einen Jet‑Identifizierbarkeitssatz: Unter milden Rangbedingungen und mit Zugang zu modulare Jets ist die interne Faktorisierung eindeutig bestimmt. Im Gegensatz dazu ermöglicht eine reine Risikobewertung eine große Familie von Mirage‑Zerlegungen, die dieselbe Eingabe‑Ausgabe‑Abbildung liefern.

Zur praktischen Anwendung stellen die Autoren den Algorithmus MoJet vor, der empirische Jets schätzt und Mirage‑Diagnosen durchführt. Mit diesem Ansatz demonstrieren sie die Funktionsweise an linearen und tiefen Regressionsmodellen sowie an Pipeline‑Klassifikationsaufgaben. Die Arbeit liefert damit ein neues, systematisches Mittel, um die interne Struktur von Lernmodellen zu untersuchen und die Grenzen der Identifizierbarkeit zu verstehen.