Homotopietheorie für Sprachmodelle: Sätze haben gleiche Wahrscheinlichkeiten

In der natürlichen Sprache gibt es viele scheinbar unterschiedliche Formulierungen, die dieselbe Bedeutung tragen – etwa „Charles Darwin schrieb“ und „Charles Darwin ist der Autor von“. Große Sprachmodelle (LLMs) sollten bei solchen Äquivalenzen dieselben nächsten Token‑Wahrscheinlichkeiten ausgeben, tun dies aber häufig nicht. Um das Problem zu mildern, wurden k‑NN‑Ansätze zur Schätzung der Satzähnlichkeit eingesetzt, die jedoch nur begrenzte Erfolge zeigen.

Die vorgestellte Arbeit geht einen Schritt weiter und führt ein abstraktes, kategorisches Homotopie‑Framework für LLMs ein. Hierbei wird ein „LLM‑Markov‑Kategorie“ definiert, in der jede Wahrscheinlichkeitsverteilung eines Satzes durch einen Pfeil dargestellt wird. Das Problem entsteht, wenn gleichwertige Umschreibungen jeweils einen nicht-isomorphen Pfeil erzeugen – ein Hindernis für die Konsistenz der Modellvorhersagen.

Zur Lösung dieses fundamentalen Problems nutzt die Studie Techniken der kategorischen Homotopie, um „schwache Äquivalenzen“ innerhalb der Markov‑Kategorie zu erfassen. Durch die Anwendung von höherer algebraischer K‑Theorie und Modellkategorien wird gezeigt, wie man diese Äquivalenzen formalisiert und in die Modellarchitektur integriert. Das Ergebnis ist ein theoretisch fundierter Ansatz, der die Konsistenz von LLM‑Vorhersagen bei semantisch identischen Sätzen verbessert und damit einen wichtigen Beitrag zur Weiterentwicklung von Sprachmodellen leistet.