Neues Agenten-basiertes Bewertungssystem prüft KI-generierten HPC-Code

Mit dem Aufkommen großer Sprachmodelle hat die automatische Erstellung von wissenschaftlichem Code einen enormen Schub erhalten. Doch die umfassende Bewertung dieser KI-generierten Programme bleibt ein zentrales Problem. Traditionelle Benchmarks beschränken sich meist auf das Matching von Testfällen, was bei Bibliothekscode für Hochleistungsrechner (HPC) schlicht unzureichend ist – dort sind neben der funktionalen Korrektheit auch Solverwahl, API-Konventionen, Speicherverwaltung und Performance entscheidend.

Um diese Lücke zu schließen, wurde petscagent-bench entwickelt – ein agentisches Framework, das auf dem Prinzip „Agenten bewerten Agenten“ basiert. Anstelle statischer Skripte setzt das Tool-augmentierte Evaluator-Agent auf einen 14‑Stufen‑Pipeline, die Code aus einem separaten Modell‑under‑Test-Agenten kompiliert, ausführt und in fünf Kategorien misst: Korrektheit, Performance, Codequalität, algorithmische Angemessenheit und bibliothekspezifische Konventionen. Durch die Nutzung standardisierter Kommunikationsprotokolle (A2A und MCP) kann das System beliebige Coding-Agenten im Black‑Box-Modus bewerten, ohne Zugriff auf deren Quellcode zu benötigen.

Die Anwendung des Frameworks auf eine realistische Problemreihe mit der PETSc‑Bibliothek für HPC zeigte, dass aktuelle Modelle zwar lesbaren, gut strukturierten Code erzeugen, jedoch häufig die spezifischen Konventionen der Bibliothek missverstehen – ein Fehler, der herkömmliche Pass/Fail‑Metriken komplett übersehen. Diese Erkenntnisse unterstreichen die Notwendigkeit eines umfassenderen Bewertungsansatzes für KI‑generierten wissenschaftlichen Code.