Softmax als Lagrange- und Legendrian-Seam: ML trifft Differentialgeometrie

In einer bahnbrechenden Veröffentlichung verbindet ein neues Papier die Welt des maschinellen Lernens mit der modernen Differentialgeometrie. Der bekannte Softmax-Schritt, der Logits in Wahrscheinlichkeiten umwandelt, wird als geometrische Schnittstelle dargestellt, die zwei konservative Beschreibungen – die negative Entropie und die Log‑Sum‑Exp‑Funktion – auf einer Legendrian‑Naht im Wahrscheinlichkeits‑Simplex zusammenführt.

Die Autoren zeigen, dass diese Naht in einem „gefoldeten symplektischen Kolle“ liegt, einem speziellen geometrischen Rahmen, der die Dynamik des Softmax‑Schritts präzise beschreibt. Dabei erscheint die Bias‑Shift‑Invarianz als Reeb‑Flow auf dem Simplex, während die Fenchel‑Young‑Gleichung bzw. die KL‑Divergenz einen exakt berechenbaren Abstand zur Naht liefern.

Um die Theorie greifbar zu machen, werden die beiden‑ und dreiklassigen Softmax‑Modelle detailliert analysiert. Diese Beispiele verdeutlichen, wie die geometrische Struktur in konkreten ML‑Anwendungen sichtbar wird.

Für die Zukunft skizzieren die Autoren mehrere spannende Richtungen: kompakte Logit‑Modelle auf projektiven oder sphärischen Räumen, die Untersuchung globaler Invarianten und die Verknüpfung mit der Informationsgeometrie, wo die auf dem Bildschirm sichtbaren Dynamiken als Replicator‑Flows interpretiert werden können.