Code generiert schneller als Reinforcement Learning – Lernbarkeit entscheidet

Eine neue Analyse auf arXiv beleuchtet, warum die automatische Code‑Generierung schneller voranschreitet als Reinforcement‑Learning‑Ansätze. Der Schlüssel liegt in der Informationsstruktur von Code, die Lernbarkeit deutlich erhöht.

Im Gegensatz zu den meisten Reinforcement‑Learning‑Problemen liefert Code bei jedem Token ein dichtes, lokales und verifizierbares Feedback. Diese kontinuierliche Rückmeldung macht die Aufgabe nicht nur leichter, sondern auch messbar. Die Qualität des Feedbacks ist dabei nicht einfach „vorhanden oder nicht“, sondern graduell, was die Lernfähigkeit stark beeinflusst.

Die Autoren stellen eine fünf‑stufige Hierarchie der Lernbarkeit vor, die auf einer formalen Unterscheidung zwischen Ausdrückbarkeit, Berechenbarkeit und Lernbarkeit basiert. Sie zeigen auf, wo diese Eigenschaften zueinander in Beziehung stehen, welche Implikationen gelten und wo sie versagen. Ein einheitliches Template macht die strukturellen Unterschiede explizit und liefert klare Kriterien für die Beurteilung von Aufgaben.

Die Ergebnisse erklären, warum überwachte Lernverfahren auf Code zuverlässig skalieren, während Reinforcement‑Learning‑Methoden nicht dieselbe Fortschrittskurve zeigen. Sie stellen die weit verbreitete Annahme in Frage, dass allein die Vergrößerung von Modellen die verbleibenden Herausforderungen in der KI lösen würde. Stattdessen wird deutlich, dass die Lernbarkeit einer Aufgabe entscheidender ist als die Modellgröße.