Benchmark und System für automatische Diagramme aus wissenschaftlichen Papieren

Wissenschaftler haben ein neues Benchmark und ein dazugehöriges System vorgestellt, das die automatische Erstellung von Systemarchitekturdiagrammen aus Forschungsartikeln ermöglicht. Das Projekt soll die bisherige, zeitaufwändige und subjektive Handarbeit ersetzen und die Qualität der generierten Visualisierungen deutlich verbessern.

Derzeit erfordert die manuelle Erstellung solcher Diagramme viel Zeit und Fachwissen, während bestehende generative Modelle weder die nötige strukturelle Kontrolle noch ein tiefes semantisches Verständnis besitzen. Ohne ein standardisiertes Messinstrument war es zudem schwierig, Fortschritte in diesem Bereich objektiv zu bewerten.

Das neue Benchmark umfasst 3.000 wissenschaftliche Arbeiten, die jeweils mit hochwertigen, als Referenz geltenden Diagrammen verknüpft sind. Für die Bewertung wurden drei Ebenen definiert: semantische Genauigkeit, Layout-Kohärenz und visuelle Qualität. Diese umfassende Messreihe ermöglicht es, verschiedene Ansätze fair und reproduzierbar zu vergleichen.

Zur Demonstration der Machbarkeit wurde Paper2SysArch entwickelt – ein End‑to‑End-System, das auf Multi‑Agenten‑Kollaboration setzt, um Texte in strukturierte, bearbeitbare Diagramme zu überführen. Auf einer sorgfältig kuratierten, anspruchsvolleren Teilmenge der Daten erzielte das System einen Gesamtwert von 69,0 Punkten.

Die Kombination aus einem großen, standardisierten Benchmark und einem funktionierenden Prototypen bietet die Grundlage für zukunftsweisende Forschung in der automatisierten wissenschaftlichen Visualisierung. Das Projekt legt damit einen wichtigen Meilenstein für nachvollziehbare, vergleichbare Entwicklungen in diesem komplexen Aufgabenfeld fest.