Discrete Transformer: Algorithmen aus Modellen extrahieren – neue Interpretierbarkeit

Ein neues Verfahren namens Discrete Transformer eröffnet die Möglichkeit, aus trainierten Modellen eigenständig ausführbare Programme zu generieren. Durch die gezielte Trennung von numerischer Aufmerksamkeit und elementweiser Arithmetik wird die bisherige Schwierigkeit der Superposition – bei der sich Informationen in überlappenden Richtungen vermischen – überwunden. Das Ergebnis ist ein Modell, das nicht nur die Leistung traditioneller RNN-basierter Ansätze erreicht, sondern gleichzeitig die Interpretierbarkeit in kontinuierlichen Variablenbereichen deutlich verbessert.

Der Schlüssel liegt in einer streng funktionalen Entkoppelung: Die numerische Attention wird ausschließlich für die Weiterleitung von Informationen genutzt, während die numerische MLP ausschließlich arithmetische Operationen durchführt. Ergänzt wird dies durch temperaturgestützte Sampling-Strategien, die eine effiziente diskrete Suche ermöglichen. Die Analyse des Annealing-Prozesses zeigt dabei eine klare Phasenübergang von Exploration zu Exploitation, was die Effektivität der Methode unterstreicht.

Darüber hinaus erlaubt die Methode eine feinkörnige Steuerung der erzeugten Programme, indem induktive Vorurteile eingebracht werden. Damit bietet der Discrete Transformer einen robusten Rahmen für die Demonstrationsfreie Entdeckung von Algorithmen und liefert einen klaren Weg zur Interpretierbarkeit von Transformer-Modellen.