DevBench: Realistisches Benchmark für Code-Generierungsmodelle

Mit DevBench erhält die Forschung ein neues, auf Telemetrie basierendes Benchmark, das Large Language Models (LLMs) in realen Code‑Completion‑Aufgaben prüft. Das Tool umfasst 1 800 Testfälle, verteilt auf sechs Programmiersprachen und sechs Aufgabenkategorien, die aus echter Entwickler‑Telemetrie abgeleitet wurden – etwa API‑Nutzung und das Verständnis des Code‑Zwecks.

Im Gegensatz zu bisherigen Benchmarks legt DevBench großen Wert auf ökologische Validität. Es verhindert die Kontamination durch Trainingsdaten und ermöglicht gleichzeitig detaillierte Diagnosen. Die Bewertung kombiniert funktionale Korrektheit, Ähnlichkeitsmetriken und LLM‑Judge‑Bewertungen, die sich auf Nützlichkeit und kontextuelle Relevanz konzentrieren.

Neun hochmoderne Modelle wurden getestet, wobei Unterschiede in syntaktischer Präzision, semantischem Denken und praktischer Anwendbarkeit sichtbar wurden. Die gewonnenen Erkenntnisse liefern konkrete Handlungsempfehlungen für die Auswahl und Weiterentwicklung von Modellen – ein entscheidender Schritt für den praktischen Einsatz und gezielte Optimierung.