Automatisierte Paper-Reproduktion: Prompt‑freie Agenten steigern Genauigkeit um 15 %

In der wissenschaftlichen Forschung gewinnt die automatisierte Umwandlung von Fachartikeln in lauffähigen Code immer mehr an Bedeutung. Dabei setzen aktuelle Workflows auf mehrstufige Abläufe, um die Inhalte systematisch zu extrahieren und in Programmcode zu überführen. Ein häufiges Problem ist jedoch, dass die Zwischenergebnisse weder automatisch überprüft noch verbessert werden, sondern auf manuell erstellte Prompt‑Anweisungen angewiesen sind. Das limitiert die Skalierbarkeit und Anpassungsfähigkeit solcher Systeme.

Um diese Schwächen zu beheben, wurde ein neues, prompt‑freies Agenten‑Framework entwickelt. Es nutzt zwei kollaborierende Agenten: einen Verifikationsagenten, der prüft, ob die Zwischenergebnisse die Anforderungen des jeweiligen Systemprompts erfüllen, und einen Refiner‑Agenten, der die Ergebnisse anhand der festgestellten Mängel automatisch anpasst. Im Gegensatz zu früheren Ansätzen, die für jeden Schritt spezifische Refinement‑Prompts erfordern, arbeitet das neue System ausschließlich mit den ursprünglichen Systemprompts und benötigt keine menschliche Eingabe.

Die Agenten wurden in das bestehende Paper2Code‑Framework integriert und auf den Datensätzen PaperBench Code‑Dev sowie Paper2CodeBench getestet. Die Experimente zeigen, dass die Genauigkeit und Vollständigkeit der reproduzierten Codes um etwa 15 % bzw. 13 % gegenüber dem Basis‑Setup verbessert wurden. Zusätzlich bestätigten Vergleichsstudien gegen das Self‑Refine‑Modell die Robustheit und Effektivität der neuen Agenten.