KI News: Kurz und klar.

Generative‑Kunst‑Algorithmen arbeiten mit hochdimensionalen Parameter‑räumen, in denen nur winzige, fragmentierte Bereiche ästhetisch ansprechende Ergebnisse liefern. Künstlerinnen und Künstler verlassen sich deshalb häufig auf langwieriges, manuelles Trial‑and‑Error, wodurch viele vielversprechende Konfigurationen unentdeckt bleiben.

Moderne neuronale Netze besitzen ein bemerkenswertes Merkmal: Die Flachbereiche des Verlustlandschapes sind häufig durch Wege mit kaum steigender Verlustfunktion miteinander verbunden, doch die Optimierungsdynamik bleibt meist in einem einzigen konvexen Bereich gefangen und erkundet selten die dazwischenliegenden Punkte.

Eine neue Studie auf arXiv zeigt, wie die Stochastic Parameter Decomposition (SPD) – ein Verfahren aus der mechanistischen Interpretierbarkeit – erfolgreich auf Transformer‑Modelle angewendet werden kann. Durch die Erweiterung von SPD mit einer speziell für sequentielle Daten entwickelten kausalen Wichtigkeitsfunktion und einer neuen Verlustfunktion gelingt es, die komplexen Parameterstrukturen dieser Modelle zu zerlegen.