ChipBench: Neuer Benchmark für LLMs im KI‑gestützten Chipdesign

In der Welt der Hardware‑Entwicklung zeigen große Sprachmodelle (LLMs) großes Potenzial, doch bisherige Benchmarks sind oft gesättigt und decken nicht die Vielfalt echter Industrieaufgaben ab. Mit ChipBench wird dieses Problem angegangen: Der neue Benchmark prüft LLMs in drei zentralen Bereichen – Verilog‑Generierung, Debugging und Referenzmodell‑Erstellung.

ChipBench umfasst 44 realistische Module mit komplexen hierarchischen Strukturen, 89 systematische Debugging‑Fälle und 132 Referenzmodell‑Beispiele in Python, SystemC und CXXRTL. Die Ergebnisse verdeutlichen deutliche Leistungsunterschiede: Das aktuelle Spitzenmodell Claude‑4.5‑opus erzielt lediglich 30,74 % bei der Verilog‑Generierung und 13,33 % bei der Python‑Referenzmodell‑Erstellung, während in überfüllten Benchmarks SOTA‑Modelle bereits über 95 % Passraten erreichen.

Um die Entwicklung von Referenzmodellen zu fördern, stellt ChipBench zudem ein automatisiertes Toolbox‑Set zur Verfügung, das hochwertige Trainingsdaten generiert. Damit wird ein wichtiger Schritt für zukünftige Forschungen in diesem bislang wenig erforschten Bereich ermöglicht.

Der komplette Code und weitere Details sind auf GitHub verfügbar: https://github.com/zhongkaiyu/ChipBench.git.