Kalibrierte Ähnlichkeit: Verlässliche geometrische Analyse von Embedding‑Räumen

In vortrainierten Embedding‑Räumen korreliert die rohe Kosinus‑Ähnlichkeit stark mit menschlichen Urteilen, doch die Anisotropie führt zu einer systematischen Fehlkalibrierung der absoluten Werte. Die Scores konzentrieren sich dabei in einem schmalen Hoch‑Ähnlichkeitsband, unabhängig von der tatsächlichen semantischen Nähe, was die quantitative Interpretierbarkeit stark einschränkt.

Frühere Ansätze haben versucht, das Problem zu lösen, indem sie die Embedding‑Struktur selbst verändern – etwa durch Weißung oder kontrastives Fein‑Tuning. Diese Transformationen verändern jedoch die geometrische Ordnung und erfordern die erneute Berechnung aller Vektoren.

Die neue Methode nutzt isotone Regression, trainiert mit menschlichen Ähnlichkeitsurteilen, um eine monotone Transformation zu erzeugen. Diese kalibriert die absoluten Werte nahezu perfekt, behält dabei die Rangkorrelation bei und sorgt für lokale Stabilität (98 % über sieben Störungstypen). Damit wird die Interpretierbarkeit der Kosinus‑Werte wiederhergestellt, ohne die Rangordnung zu verändern.

Darüber hinaus wird die isotone Kalibrierung als ordnungsbeibehaltende Reparametrisierung beschrieben. Die Autoren zeigen, dass sämtliche auf Reihenfolge basierende Verfahren – wie Winkel‑Sortierung, Nachbarschafts‑Analyse, Schwellen‑Graphen und quantilbasierte Entscheidungen – unter dieser Transformation invariant bleiben.