Neues Benchmark: Wie gut unterscheiden Repräsentationsmetriken Modelle?

Wissenschaftler haben ein neues, quantitatives Verfahren entwickelt, um die Fähigkeit von Repräsentationsähnlichkeitsmetriken zu prüfen, verschiedene Modellfamilien voneinander zu unterscheiden. Dabei werden sowohl klassische Convolutional Neural Networks (CNNs) als auch moderne Vision‑Transformer‑Architekturen wie Swin‑Transformer und ConvNeXt berücksichtigt.

Das System nutzt drei unterschiedliche Messgrößen – d′ aus der Signal‑Detection‑Theorie, Silhouettenkoeffizienten und ROC‑AUC – um die Trennbarkeit von Modellen zu bewerten. Auf diese Weise lässt sich die Sensitivität jeder Metrik gegenüber unterschiedlichen Architekturen und Trainingsansätzen (überwachtes vs. selbstüberwachtes Lernen) exakt vergleichen.

Die Ergebnisse zeigen, dass Metriken mit strengeren Ausrichtungsbedingungen die höchste Trennbarkeit erzielen. Unter den mapping‑basierten Verfahren liefert Soft‑Matching die beste Leistung, gefolgt von Procrustes‑Alignment und linearer Vorhersagbarkeit. Auch nicht‑passende Methoden wie RSA erreichen eine starke Unterscheidbarkeit zwischen Modellfamilien.

Diese erste systematische Gegenüberstellung von Repräsentationsmetriken liefert klare Richtlinien für die Auswahl geeigneter Messgrößen bei groß angelegten Vergleichen von KI‑Modellen und Gehirndaten. Die Studie legt damit einen wichtigen Grundstein für zukünftige Forschungsarbeiten im Bereich der künstlichen Intelligenz und Neurowissenschaften.