OpenAI stellt „circuit‑sparsity“ vor: Open‑Source‑Tools für sparsige Transformer

OpenAI hat kürzlich das Modell openai/circuit-sparsity auf Hugging Face sowie das zugehörige Toolkit openai/circuit_sparsity auf GitHub veröffentlicht. Damit stellen die Entwickler ein komplettes Paket aus Modellen und Schaltkreisen aus der Arbeit „Weight‑sparse transformers have interpretable circuits“ bereit.

Die sparsiven Transformer sind GPT‑2‑ähnliche Decoder‑Only‑Modelle, die ausschließlich auf Python‑Code trainiert wurden. Im Gegensatz zu herkömmlichen Modellen wird die Sparsität nicht nach dem Training künstlich eingefügt, sondern ist ein inhärenter Bestandteil der Architektur. Dadurch lassen sich die Modelle leichter interpretieren und mit dichten Baselines über Aktivierungsbrücken verbinden.

Die Veröffentlichung bietet Forschern und Entwicklern sofort einsatzbereite Ressourcen, um sparsige Modelle zu erkunden, zu vergleichen und in eigene Projekte zu integrieren. OpenAI setzt damit einen weiteren Meilenstein in der offenen Forschung zu effizienten und erklärbaren KI‑Systemen.