CASL: Supervised Alignment Sparse Latents zur Interpretation Diffusionsmodelle

In Diffusionsmodellen speichern die internen Aktivierungen reichhaltige semantische Informationen, die jedoch bislang schwer zu deuten sind. Die Herausforderung besteht darin, diese komplexen Repräsentationen in verständliche Konzepte zu übersetzen, damit Nutzer gezielt steuern können, welche Inhalte erzeugt werden.

Sparse Autoencoders (SAEs) haben gezeigt, dass sie latente Darstellungen entwirren können, doch bisherige Ansätze arbeiten ausschließlich unsupervised. Dadurch bleiben die entdeckten sparsamen Dimensionen oft unklar und lassen sich nicht zuverlässig mit menschlich erfassbaren Konzepten verknüpfen. Das Ergebnis ist eine eingeschränkte Kontrolle über die generierten Bilder.

CASL (Concept‑Aligned Sparse Latents) löst dieses Problem, indem es zunächst einen SAE auf eingefrorenen U‑Net‑Aktivierungen trainiert, um entangled latente Vektoren zu erhalten. Anschließend wird eine leichte lineare Abbildung gelernt, die jedem Konzept ein kleines Set relevanter latenter Dimensionen zuordnet. Damit werden die sparsamen Latents gezielt mit semantischen Begriffen ausgerichtet.

Zur Validierung führt CASL das Tool CASL‑Steer ein, das gezielt Aktivierungen entlang der erlernten Konzeptachse verschiebt. Dieses Verfahren dient ausschließlich als kausaler Probe, um zu zeigen, wie die konzept‑ausgerichteten Latents den Bildinhalt beeinflussen. Zusätzlich wird die Editing Precision Ratio (EPR) eingeführt, ein Maß, das sowohl die Konzept‑Spezifität als auch die Erhaltung unberührter Attribute bewertet. Experimente demonstrieren, dass CASL eine deutlich höhere Editierpräzision und Interpretierbarkeit erreicht als bisherige Methoden.

Mit CASL wird erstmals eine supervised Alignment zwischen latenten Repräsentationen und semantischen Konzepten realisiert. Diese Fortschritte eröffnen neue Möglichkeiten für die kontrollierte Bildgenerierung und legen den Grundstein für weiterführende Arbeiten zur erklärbaren KI in generativen Modellen.