Geometrische Analyse von Embeddings liefert OOD‑Robustheitsdiagnose

Die Fähigkeit von Modellen, unter veränderten Datenverteilungen zuverlässig zu arbeiten, bleibt ein zentrales Problem – besonders wenn keine Ziel‑Domain‑Labels vorliegen. Selbst wenn zwei Modelle dieselbe Genauigkeit im Trainingsdatensatz erreichen, können ihre Leistungen bei Out‑of‑Distribution‑(OOD) Daten stark auseinandergehen.

In der vorliegenden Arbeit wird ein neues, geometriebasiertes Diagnoseverfahren vorgestellt. Dabei werden aus den in‑Distribution‑Embeddings class‑conditional k‑Nearest‑Neighbor‑Graphen konstruiert. Aus diesen Graphen werden zwei robuste Kennzahlen extrahiert: ein globaler Spektral‑Komplexitätsindikator, der auf dem reduzierten Log‑Determinanten der normalisierten Laplace‑Matrix basiert, sowie ein lokaler Glattheitsmaß, das die Ollivier–Ricci‑Krümmung nutzt.

Durch umfangreiche Experimente über verschiedene Architekturen, Trainingsregime und Korruptionsbenchmarks hinweg zeigte sich, dass Modelle mit niedriger Spektralkomplexität und höherer durchschnittlicher Krümmung konsequent bessere OOD‑Genauigkeiten erzielen. Kontrollierte Störungen und topologische Analysen bestätigten, dass diese Signale echte Strukturen im Repräsentationsraum widerspiegeln und nicht bloße statistische Artefakte sind.

Die Ergebnisse demonstrieren, dass die geometrische Struktur von Embeddings ein interpretierbares, label‑freies Diagnoseinstrument für Robustheit darstellt. Damit ermöglicht das Verfahren eine zuverlässige, unsupervised Auswahl von Checkpoints, wenn Modelle unter veränderten Verteilungen eingesetzt werden sollen.