Transformers können Verschlüsselungen mit In-Context-Lernen knacken

Ein neues arXiv‑Veröffentlichung zeigt, dass Transformer‑Modelle mit In‑Context‑Learning (ICL) nicht nur einfache Funktionen, sondern auch klassische Verschlüsselungen wie monoalphabetische Substitutionen und Vigenère‑Ciphers entschlüsseln können. Durch das Vorlegen einer kleinen Menge an (Verschlüsselung, Klartext)-Paaren lernt das Modell die verborgene bijektive Zuordnung zwischen Buchstaben und kann anschließend neue verschlüsselte Wörter korrekt wiederherstellen.

Die Studie nutzt ICL, um die strukturellen Lernfähigkeiten von Transformern zu prüfen, ohne Parameterupdates durchzuführen. Sie demonstriert, dass die Modelle aus wenigen Beispielen allgemeine Regeln ableiten und damit die Grenzen ihrer Generalisierung im kryptografischen Kontext aufzeigen. Der zugrunde liegende Code ist öffentlich auf GitHub verfügbar.