Automatisierte Messung der Nützlichkeit von Peer-Reviews für Autoren

In einer Zeit, in der Reviewern immer weniger Zeit bleibt, entwickelt ein neues Forschungsprojekt ein automatisiertes System, das die Qualität von Peer-Reviews für die Autoren selbst bewertet. Das Ziel ist klar: konstruktives Feedback soll so präzise und hilfreich wie möglich sein.

Das Herzstück des Projekts ist der RevUtil-Datensatz, der 1.430 von Menschen bewertete Review-Kommentare sowie 10.000 synthetisch erzeugte Kommentare enthält. Für die synthetischen Daten wurden zusätzlich Erklärungen (Rationales) zu jedem Bewertungskriterium erstellt, sodass die Modelle nicht nur die Punkte bewerten, sondern auch nachvollziehbar begründen können.

Durch das Feintuning moderner Sprachmodelle konnten die Forscher eine Bewertung erreichen, die mit menschlicher Konsensleistung vergleichbar ist – und in einigen Fällen sogar besser als die leistungsstarken, geschlossenen Modelle wie GPT‑4o. Gleichzeitig zeigte die Analyse, dass maschinell generierte Reviews in allen vier Kernaspekten – Handlungsfähigkeit, Fundierung & Spezifität, Überprüfbarkeit und Hilfreichkeit – hinter menschlichen Reviews zurückbleiben.