KI-Modelle entschlüsseln verschlüsselte Logik – Logit Lens zeigt Durchbruch

Mit der wachsenden Leistungsfähigkeit großer Sprachmodelle steigt die Sorge, dass diese Systeme eigene Denkprozesse entwickeln könnten, die für Menschen nicht nachvollziehbar sind. Um zu prüfen, ob aktuelle Interpretationsmethoden solche versteckten Logiken aufdecken können, hat ein Forschungsteam ein spezielles Testfeld geschaffen.

Hier wurde das Modell DeepSeek‑R1‑Distill‑Llama‑70B so feinjustiert, dass es Ketten‑von‑Denken‑Schritte in ROT‑13 verschlüsselt, während die endgültigen Ausgaben weiterhin verständliches Englisch bleiben. Dieses Setup ermöglicht es, die inneren Repräsentationen des Modells zu untersuchen, ohne die Klarheit der Ergebnisse zu verlieren.

Die Analyse konzentrierte sich auf mechanistische Interpretationswerkzeuge, insbesondere die Logit‑Lens‑Methode. Die Ergebnisse zeigen, dass die Logit‑Lens in der Lage ist, die verschlüsselten Denkprozesse zuverlässig zu übersetzen – besonders in den mittleren bis späteren Schichten des Modells. Damit wird deutlich, dass diese Technik stärker als bisher angenommen gegen einfache Formen von versteckter Logik resistent ist.

Darüber hinaus entwickelte das Team eine vollständig unüberwachte Decodierungspipeline, die die Logit‑Lens mit automatischer Paraphrasierung kombiniert. Diese Kombination erreichte eine beeindruckende Genauigkeit bei der Rekonstruktion kompletter Denktranskripte aus den internen Modellrepräsentationen. Die Studie liefert damit einen ersten Rahmen, um Interpretationsmethoden gegen Modelle zu testen, die in nicht menschlich lesbaren Formaten denken, und trägt zur Aufrechterhaltung der Kontrolle über immer leistungsfähigere KI-Systeme bei.