RPC-Bench: Maßgeschneiderte Benchmark für das Verständnis von Forschungspapieren

Die Analyse wissenschaftlicher Arbeiten bleibt für große Sprachmodelle eine Herausforderung, weil sie sich mit spezialisiertem Fachvokabular sowie komplexen Abbildungen und Tabellen auseinandersetzen müssen. Um diese Lücke zu schließen, präsentiert die Forschung ein neues Tool: RPC‑Bench. Dieses umfangreiche Frage‑Antwort‑Benchmark basiert auf den Review‑Rebuttal‑Austauschen hochqualitativer Computer‑Science‑Papiere und umfasst 15 000 von Menschen verifizierte QA‑Paare.

Ein zentrales Merkmal von RPC‑Bench ist die fein abgestimmte Taxonomie, die den wissenschaftlichen Forschungsfluss widerspiegelt. Sie ermöglicht es, die Leistungsfähigkeit von Modellen gezielt zu prüfen, wenn es darum geht, Fragen des Typs „Warum“, „Was“ und „Wie“ in akademischen Kontexten zu beantworten. Ergänzend dazu wurde ein detailliertes Annotation‑Framework entwickelt, das die Interaktion zwischen großen Sprachmodellen und menschlichen Prüfern unterstützt und so eine skalierbare Qualitätskontrolle gewährleistet.

Zur Bewertung der Modelle nutzt RPC‑Bench das „LLM‑as‑a‑Judge“-Paradigma. Dabei werden Modelle anhand von Korrektheit‑Vollständigkeit und Prägnanz bewertet, wobei die Ergebnisse eine hohe Übereinstimmung mit menschlichen Urteilen aufweisen. Die ersten Experimente zeigen, dass selbst das stärkste Modell, GPT‑5, lediglich 68,2 % Korrektheit‑Vollständigkeit erreicht. Sobald die Prägnanz berücksichtigt wird, sinkt die Bewertung auf 37,46 % – ein deutliches Signal für noch vorhandene Lücken im präzisen Verständnis wissenschaftlicher Texte.

Alle zugehörigen Daten und der Code stehen unter https://rpc-bench.github.io/ zur Verfügung, sodass Forscher und Entwickler die Benchmark sofort nutzen und weiterentwickeln können.