FactReview: KI-gestützte Peer-Review mit Beweiskraft und Code-Validierung

Im Zeitalter der rasanten Publikationszahlen im maschinellen Lernen stehen Peer-Reviewer unter enormem Druck. Traditionelle, auf großen Sprachmodellen basierende Systeme lesen lediglich den Text des Manuskripts und generieren Kommentare aus dessen eigener Erzählung. Das Ergebnis ist stark von der Präsentationsqualität abhängig und liefert kaum Klarheit, wenn die nötigen Beweise in verwandter Literatur oder im veröffentlichten Code liegen.

FactReview setzt neue Maßstäbe, indem es drei Schlüsselelemente kombiniert: die Extraktion zentraler Behauptungen, die Positionierung des Papiers im Kontext der aktuellen Forschung und die ausführungbasierte Verifikation von Ergebnissen. Sobald ein Beitrag eingereicht wird, identifiziert FactReview die wichtigsten Aussagen und Ergebnisse, holt relevante Nacharbeiten ein, um die technische Stellung des Papiers zu verdeutlichen, und führt – sofern Code verfügbar ist – die bereitgestellten Repositorien unter definierten Ressourcenbeschränkungen aus, um die Kernbehauptungen empirisch zu prüfen.

In einer Fallstudie zu CompGCN konnte FactReview die berichteten Leistungen bei Link‑Prediction und Node‑Classification exakt reproduzieren. Bei der breiteren Leistungsbehauptung über mehrere Aufgaben zeigte sich jedoch, dass die Ergebnisse nicht vollständig bestätigt werden konnten: Auf dem MUTAG‑Graphklassifikationsdatensatz erreichte die reproduzierte Methode 88,4 %, während die im Papier stärkste Basislinie 92,6 % erzielte. Die Behauptung ist daher nur teilweise unterstützt.

Diese Erkenntnisse unterstreichen, dass KI im Peer‑Review vor allem als Werkzeug zur systematischen Evidenzsammlung dient – nicht als endgültiger Entscheider. FactReview liefert strukturierte, nachvollziehbare Beweisketten, die menschliche Gutachter bei der Bewertung von Manuskripten unterstützen und die Qualität der wissenschaftlichen Publikationen nachhaltig verbessern können.