CoCoNUTS: Inhalt statt Stil – neue KI-Erkennung für Peer-Reviews

Die zunehmende Nutzung großer Sprachmodelle (LLMs) im Peer‑Review-Prozess wirft ernsthafte Fragen zur Fairness und Zuverlässigkeit wissenschaftlicher Bewertungen auf. Während LLMs Reviewern bei der sprachlichen Verfeinerung helfen können, wächst die Sorge, dass sie auch substanzielle Inhalte erzeugen und damit die Integrität des Review‑Verfahrens gefährden.

Aktuelle KI‑Erkennungswerkzeuge greifen vorwiegend auf stilistische Merkmale zurück. Sie sind anfällig für Paraphrasierungsangriffe und unterscheiden nicht zuverlässig zwischen bloßer Sprachverbesserung und eigentlicher KI‑generierter Inhalt. Das führt dazu, dass legitime, von KI unterstützte Reviews fälschlicherweise verdächtigt werden, während menschenähnlich wirkende, von KI erstellte Texte unbemerkt bleiben.

Um diesem Problem entgegenzuwirken, stellt das neue CoCoNUTS‑Projekt einen inhaltsspezifischen Ansatz vor. Das Benchmark‑Set umfasst fein abgestufte Peer‑Review‑Daten aus sechs unterschiedlichen Modellen menschlicher und KI‑basierter Zusammenarbeit. Ergänzend dazu wurde CoCoDet entwickelt – ein Multi‑Task‑Learning‑Framework, das die Erkennung von KI‑Einfluss im Review‑Text deutlich verbessert.

Die Ergebnisse zeigen, dass ein inhaltlicher Fokus die Genauigkeit und Robustheit der KI‑Erkennung erheblich steigert. Das Projekt liefert damit eine solide Grundlage für die Bewertung des Einsatzes von LLMs im Peer‑Review und trägt zur Entwicklung gerechterer, verlässlicherer Prüfverfahren bei. Der zugehörige Code und die Daten werden öffentlich auf GitHub zur Verfügung gestellt.