KI News: Kurz und klar.

In modernen generativen Modellen, insbesondere in Diffusionsmodellen, dient Score‑Matching als zentrales Trainingsziel. Durch die Schätzung von Score‑Funktionen lernen Modelle hochdimensionale Datenverteilungen. Trotz der praktischen Erfolge fehlt bislang ein umfassendes theoretisches Verständnis der Optimierungsdynamik, vor allem in überparametrisierten Regimen.

Viele Knowledge Graphs (KGs) werden regelmäßig aktualisiert, was ihre Embeddings ständig an neue Informationen anpassen muss. Um diesem Problem zu begegnen, setzen aktuelle Methoden des kontinuierlichen Lernens auf die Einbindung neuer Entitäten und die Aktualisierung bestehender Embeddings. Ein entscheidender, aber oft vernachlässigter Schritt ist die Initialisierung dieser Embeddings, die sowohl die Genauigkeit als auch die Trainingsdauer stark beeinflusst – besonders bei kleinen, häufigen Updates.

In den letzten Jahren wurden zahlreiche Initialisierungsmethoden für neuronale Netze entwickelt, darunter die bekannten Glorot- und He-Initialisierungen sowie orthogonale Matrizen und Random‑Walk‑Ansätze. Diese Verfahren legen großen Wert darauf, die Varianz der Aktivierungen und Gradienten über die Schichten hinweg konstant zu halten. Allerdings berücksichtigen viele dieser Methoden die Tiefe des Netzwerks nicht vollständig, was bei sehr tiefen Architekturen zu Problemen führen kann.

Ein neues Initialisierungskonzept für tiefe ReLU‑Netze wurde vorgestellt, das die Trainingsstabilität deutlich verbessert. Durch die Optimierung einer orthogonalen Initialisierung auf der Stiefel‑Mannigfaltigkeit werden sowohl die Skalierung als auch die Voraktivierungsstatistiken von Anfang an kontrolliert. Das Verfahren verhindert das häufige Problem der „dying ReLU“ und reduziert die Abnahme der Aktivierungsvarianz, wodurch Gradient‑Vanishing‑Probleme gemildert werden.