Geometrische Brücke: Konzept‑Lernen vereint CBM und SAE in einem Modell

In der KI‑Interpretierbarkeit haben sich zwei Strömungen parallel entwickelt: Concept‑Bottleneck‑Modelle (CBMs) und Sparse Autoencoders (SAEs). Während CBMs mit menschlichen Labels arbeiten, um Konzepte zu definieren, entdecken SAEs Konzepte durch sparsames Codieren. Beide Ansätze folgen jedoch derselben geometrischen Idee.

Beide Lernmethoden extrahieren lineare Richtungen im Aktivierungsraum. Durch die Kombination dieser Richtungen mit nicht‑negativen Gewichten entsteht ein „Concept Cone“, ein konvexer Raum, der die zugrunde liegenden Konzepte repräsentiert. Der Unterschied liegt nicht in der Art der Konzepte, sondern darin, wie der entsprechende Cone gewählt wird.

Die Autoren schlagen eine operative Brücke vor: CBMs liefern menschlich definierte Referenzgeometrien, während SAEs anhand ihrer Fähigkeit bewertet werden, diese Referenzcones zu approximieren oder zu enthalten. Dieses „Containment‑Framework“ ermöglicht quantitative Messgrößen, die die Verbindung zwischen induktiven Vorurteilen (z. B. Sparsität, Expansionsfaktor) und der Entstehung plausibler Konzepte herstellen.

Durch die Anwendung dieser Metriken konnten die Forscher einen „Sweet Spot“ in Bezug auf Sparsität und Expansionsfaktor identifizieren, der die Entstehung plausibler Konzepte maximiert. Diese Erkenntnisse legen den Grundstein für eine einheitliche Theorie des Konzeptlernens, die sowohl menschliche Expertise als auch datengetriebene Entdeckungen integriert.