Interaktive Bewertung von LLMs für komplexe Softwareentwicklungsaufgaben

Standard-Benchmarks, die ein einzelnes Gespräch simulieren, reichen nicht aus, um die feinen Fähigkeiten großer Sprachmodelle (LLMs) bei anspruchsvollen Softwareentwicklungsaufgaben zu messen. Deshalb wurde ein neues, interaktives Evaluationsframework entwickelt, das LLMs anhand von mehrteiligen Programmieraufgaben bewertet, die aus mehreren miteinander verknüpften Anforderungen bestehen.

Jede Aufgabe wird als Abhängigkeitsgraph von Anforderungen dargestellt. Ein „Interviewer“-LLM, das die korrekte Lösung kennt, gibt gezielte, minimalistische Hinweise an ein „Interviewee“-Modell, um Fehler zu korrigieren und die Zielvorgaben zu erfüllen. Durch diesen dynamischen Dialog erhält man detaillierte Einblicke in das Verhalten der Modelle und kann systematische Stärken und Schwächen aufdecken, die bei statischen Tests verborgen bleiben.

Das neue Verfahren baut auf dem DevAI-Benchmark mit 55 sorgfältig kuratierten Programmieraufgaben auf. Zusätzlich wurden die wahren Lösungen ergänzt und die Nützlichkeit der Interviewer-Hinweise von Experten annotiert. Die Ergebnisse unterstreichen, wie wichtig eine dynamische Bewertung ist, um die Entwicklung kollaborativer, codegenerierender Agenten voranzutreiben.