Cadmus: Kostengünstiges System für kontrollierte Programmsynthese

Mit dem neuen System Cadmus können Forscher jetzt Programmsynthese in einem erschwinglichen Rahmen untersuchen. Das System kombiniert eine Integer‑Virtual‑Machine, ein speziell kuratiertes Datenset aus echten Programmen und einen autoregressiven Transformer, der mit weniger als 200 US-Dollar an Rechenkosten trainiert wurde.

Cadmus ermöglicht gezielte Experimente zu Programmvervollständigung, Out‑of‑Distribution‑Erkennung, induktivem Schließen und Anweisungsbefolgung. Durch die Möglichkeit, die Trainingsverteilung präzise zu steuern und Modelle detailliert zu inspizieren, können Wissenschaftler bisher unzugängliche Analysen durchführen, die bei größeren Modellen zu teuer wären.

In einer Vergleichsstudie übertrifft Cadmus sogar GPT‑5 bei einer einfachen Aufgabe der Integer‑Arithmetik in einer domänenspezifischen Sprache: 100 % Genauigkeit gegen 95 % bei GPT‑5. Gleichzeitig verdeutlicht die Untersuchung, dass GPT‑5 unbekannte Vorannahmen in den Lösungsprozess einfließen lässt, was die Ergebnisse verfälschen kann.