DreamReader: Einheitliches Toolkit zur Interpretierbarkeit von T2I-Modellen

Die rasante Verbreitung von Text‑zu‑Bild‑Diffusionsmodellen hat die Forschung in der Interpretierbarkeit von KI-Systemen vor neue Herausforderungen gestellt. DreamReader bietet dafür die erste einheitliche Lösung, die sämtliche Analyse‑ und Interventionsmethoden in einem einzigen, modellunabhängigen Rahmen zusammenführt.

Das Toolkit formalisiert Interpretierbarkeit als zusammensetzbare Repräsentationsoperatoren, die von der Aktivierungs‑Extraktion über kausales Patchen bis hin zu strukturierten Ablationen und Aktivierungs‑Steuerung über Module und Zeitschritte reichen. Damit ermöglicht DreamReader systematische Untersuchungen und gezielte Eingriffe in beliebige Diffusionsarchitekturen.

Darüber hinaus führt DreamReader drei neuartige Interventionsprimitive ein: LoReFT (Repräsentations‑Fine‑Tuning) für subspace‑beschränkte interne Anpassungen, klassenorientiertes Gradienten‑Steuern mittels MLP‑Probes, die auf Aktivierungen trainiert sind, sowie komponentenbasierte Cross‑Model‑Mapping‑Methoden, die die Übertragbarkeit von Repräsentationen zwischen Modellen und Modalitäten untersuchen. Diese Techniken ermöglichen leichte White‑Box‑Interventionen, inspiriert von Interpretabilitätsansätzen für große Sprachmodelle.

In kontrollierten Experimenten demonstriert DreamReader seine Leistungsfähigkeit: Durch Aktivierungs‑Stitching werden zwei Modelle miteinander verbunden, und mit LoReFT werden gezielt Aktivierungs­einheiten gesteuert, um ein gewünschtes Konzept zuverlässig in die generierten Bilder einzufügen. Die Experimente werden deklarativ beschrieben und in standardisierten, batch‑basierten Pipelines ausgeführt, was eine reproduzierbare, groß angelegte Analyse gewährleistet.

Mehrere Fallstudien zeigen, dass DreamReader nicht nur bestehende Methoden konsolidiert, sondern auch neue Einsichten in die Funktionsweise von Diffusionsmodellen liefert und damit die Grundlage für weiterführende Forschung in der KI‑Interpretierbarkeit legt.