KI-gestützte Peer‑Review: Verifikation zuerst statt Nachahmung

Eine neue Studie auf arXiv fordert einen Paradigmenwechsel im Peer‑Review: Statt KI‑Modelle, die menschliche Bewertungen nachahmen, sollten sie als verifikationsorientierte Werkzeuge eingesetzt werden. Der Autor argumentiert, dass die Qualität von Publikationen am besten durch „Truth‑Coupling“ gemessen wird – also wie eng die Bewertung eines Zeitschriftenprogramms mit der tatsächlichen wissenschaftlichen Wahrheit verknüpft ist.

Die Arbeit definiert zwei zentrale Kräfte, die zu einer Phase‑Transition führen können: „Verification Pressure“, wenn die Menge an wissenschaftlichen Behauptungen die Verifikationskapazität übersteigt, und „Signal Shrinkage“, wenn echte Fortschritte im Rauschen untergehen. In einem vereinfachten Modell, das gelegentliche hochpräzise Kontrollen mit häufigen Proxy‑Urteilen kombiniert, wird ein konkretes Coupling‑Gesetz abgeleitet. Dort zeigt sich, dass rationales Verhalten von der Suche nach Wahrheit zu einer Optimierung von Proxy‑Signalen übergehen kann – selbst wenn die aktuellen Entscheidungen noch zuverlässig erscheinen.

Die Ergebnisse liefern klare Handlungsempfehlungen für Entwickler von KI‑Tools und für Programm‑Chair‑Positionen. Statt KI als Score‑Predictor zu nutzen, der die Inflation von Behauptungen verstärkt, sollten sie als „adversarial auditors“ fungieren. Diese erzeugen nachvollziehbare Verifikationsartefakte und erweitern die effektive Verifikationsbandbreite, wodurch die Integrität des Peer‑Review‑Prozesses nachhaltig gestärkt wird.