Go-UT-Bench: neues Dataset für LLM-gestützte Unit-Test-Generierung in Go

Die Entwicklung von Sprachmodellen für Code hat in den letzten Jahren enorme Fortschritte gemacht, doch ein entscheidendes Problem bleibt: die Trainingsdaten sind stark unausgewogen. Während Open-Source-Code in großen Mengen verfügbar ist, fehlen systematisch Daten zu praxisnahen Softwareentwicklungsaufgaben – besonders in weniger verbreiteten Sprachen wie Golang. Das Ergebnis: Modelle glänzen bei Autovervollständigung, aber bei echten Entwickleraufgaben wie der Generierung von Unit-Tests hinken sie hinterher.

Um diese Lücke zu schließen, präsentiert die Forschung das neue GO UT Bench‑Dataset. Es umfasst 5 264 Paare aus Go‑Code und zugehörigen Unit‑Tests, die aus zehn permissiv lizenzierten Repositories stammen und verschiedene Anwendungsdomänen abdecken. Durch die gezielte Auswahl von realen Testfällen bietet das Dataset ein authentisches Trainingsmaterial, das die Bedürfnisse moderner Entwickler widerspiegelt.

In einer umfassenden Evaluation wurden die Daten als Fine‑Tuning‑Set für zwei unterschiedliche LLM‑Architekturen eingesetzt: Mixture‑of‑Experts‑Modelle und dichte Decoder. Die Ergebnisse sind überzeugend: Feinabgestimmte Modelle übertreffen ihre Basisversionen bei mehr als 75 % der Benchmark‑Aufgaben. Damit demonstriert GO UT Bench nicht nur die Bedeutung ausgewogener Trainingsdaten, sondern liefert auch einen praktischen Ansatz, um die Leistungsfähigkeit von Code‑LLMs in realen Entwicklungsprozessen nachhaltig zu steigern.