BlockCert: Zertifizierte Blockweise Extraktion von Transformer-Mechanismen

Die neueste Veröffentlichung auf arXiv (2511.17645v1) stellt BlockCert vor – ein Framework, das es ermöglicht, einzelne Residualblöcke von vortrainierten Transformer‑Modellen exakt zu extrahieren und gleichzeitig Zertifikate zu liefern, die die Approximationstoleranz begrenzen. Durch die Kombination von strukturierten Surrogatimplementierungen mit maschinell prüfbaren Zertifikaten erhält man einen klaren Überblick darüber, wie nah die extrahierten Blöcke an den Originalfunktionen liegen.

BlockCert arbeitet mit einer vorgegebenen Prompt‑Verteilung und erzeugt für jeden Block ein Zertifikat, das die Fehlerquote, die Abdeckung der getesteten Eingaben und einen Hash der zugrunde liegenden Artefakte dokumentiert. Ein in Lean 4 formalisiertes Lipschitz‑Basiskompositionstheorem hebt diese lokalen Garantien zu einer globalen Abweichungsgrenze an, sodass die Gesamtleistung des Modells zuverlässig eingeschätzt werden kann.

In der Praxis wurde das System auf GPT‑2 small, TinyLlama‑1.1B‑Chat und Llama‑3.2‑3B getestet. Die Ergebnisse zeigen hohe Blockabdeckungen und sehr geringe Residualfehler. Besonders bei TinyLlama konnte ein vollständig zusammengesetztes Modell die Ausgangs‑Perplexität auf Stress‑Prompts innerhalb von etwa 6 × 10⁻⁵ erreichen, was die praktische Anwendbarkeit der Methode unterstreicht.

BlockCert demonstriert, dass blockweise Extraktion mit expliziten Zertifikaten für reale Sprachmodelle machbar ist und bildet damit eine Brücke zwischen mechanistischer Interpretierbarkeit und formaler Modellverhaltensanalyse. Diese Entwicklung eröffnet neue Möglichkeiten, Transformer‑Modelle nicht nur zu verstehen, sondern auch sicher zu modifizieren.