DECKBench: Neuer Benchmark für Multi-Agenten bei akademischen Folien

Die automatische Erstellung und iterative Bearbeitung von akademischen Präsentationen erfordert weit mehr als reine Textzusammenfassung. Erfolgreiche Systeme müssen Inhalte präzise auswählen, die Folien logisch strukturieren, ein ansprechendes Layout erzeugen und dabei mehrfache Anweisungen zuverlässig umsetzen.

Um diese Anforderungen systematisch zu prüfen, wurde DECKBench – das Deck Edits and Compliance Kit Benchmark – entwickelt. Das Tool basiert auf einer sorgfältig kuratierten Sammlung von Papier‑zu‑Folie‑Paaren, die mit realistischen, simulierten Bearbeitungsanweisungen angereichert sind. Der Evaluationsprotokoll bewertet sowohl die Qualität einzelner Folien als auch die Kohärenz des gesamten Decks hinsichtlich Inhaltstreue, struktureller Zusammenhänge, Layout‑Qualität und der Fähigkeit, mehrfache Anweisungen korrekt zu verarbeiten.

Zur Demonstration des Benchmarks wurde ein modularer Multi‑Agenten‑Baseline‑Ansatz implementiert. Dieser zerlegt die Aufgabe in vier Schritte: das Parsen und Zusammenfassen des Ausgangspapiers, die Planung der Folien, die HTML‑Erstellung und die iterative Bearbeitung. Die Resultate zeigen, dass DECKBench sowohl Stärken als auch Schwachstellen bestehender Systeme aufdeckt und konkrete, umsetzbare Erkenntnisse liefert, um die Leistung von Multi‑Agenten‑Lösungen zu verbessern.

DECKBench schafft damit eine standardisierte, reproduzierbare Basis für den Vergleich und die Weiterentwicklung von Systemen zur automatischen Generierung und Bearbeitung akademischer Präsentationen. Der komplette Code sowie die Datensätze stehen öffentlich auf GitHub zur Verfügung.