Verilog-Code-Generierung erreicht neue Rekordleistung dank Reinforcement Learning

In einer wegweisenden Studie wurde ein neues Reinforcement‑Learning‑Framework vorgestellt, das die Generierung von Verilog‑Code deutlich verbessert. Das Team hat das umfangreiche Datenset Veribench‑53K entwickelt, das aus über 700 000 sorgfältig kuratierten Verilog‑Aufgaben besteht und strukturierte Prompts, Schwierigkeits‑Labels sowie vielfältige Testbenches enthält.

Um die Herausforderung sparsamer und verrauschter Belohnungssignale zu überwinden, wurde ein „Trace‑back‑basierter Rescore“-Mechanismus eingeführt. Dieser nutzt logische Pfade und iterative Verfeinerungen, um die Zuverlässigkeit des Feedbacks zu erhöhen und die Trainingseffizienz des Belohnungsmodells zu steigern.

Ein weiteres Schlüsselelement ist die adaptive, sample‑balancierte Gewichtungsstrategie, die das Lernen dynamisch an die Verteilung der Belohnungswahrscheinlichkeiten anpasst. Dadurch wird katastrophales Vergessen und Überanpassung während der RL‑Feinabstimmung verhindert.

Die Kombination dieser Innovationen in einem iterativen RL‑Pipeline-Ansatz führt zu einer signifikanten Steigerung der Test‑Pass‑Raten und übertrifft bisherige Ansätze wie CraftRTL und DeepSeek, die auf großen, proprietären Modellen oder sparsamen Feedback‑Mechanismen basieren. Die Ergebnisse zeigen einen klaren Fortschritt in der Hardware‑Beschreibungssprache Verilog und markieren einen wichtigen Meilenstein für die KI‑unterstützte Hardwareentwicklung.