NoveltyRank: KI‑Papiere nach konzeptioneller Neuheit bewerten

Mit der zunehmenden Leichtigkeit, mit der wissenschaftliche Arbeiten publiziert werden, ist die Zahl der AI‑Forschungsartikel explodiert. Dadurch fällt es immer schwieriger, wirklich originelle und wirkungsvolle Beiträge zu erkennen, und die manuelle Bewertung von Neuheit ist oft unzuverlässig und zeitaufwendig.

Das Projekt „NoveltyRank“ entwickelt ein Modell, das die konzeptionelle Neuheit von KI‑Papierten anhand von Titel, Abstract und semantischer Ähnlichkeit zu früheren Arbeiten schätzt und anschließend rankt. Ziel ist es, Forschern und Konferenzprüfern ein datenbasiertes, skalierbares Instrument zur Identifikation von wirklich innovativen Ideen zu bieten.

Zur Bewertung der Neuheit wurden zwei Aufgabenformulierung gewählt: Erstens eine binäre Klassifikation, die die absolute Neuheit eines Papiers vorhersagt, und zweitens ein paarweiser Vergleich, der relative Neuheit zwischen zwei Arbeiten ermittelt. Für beide Aufgaben wurden Qwen3‑4B‑Instruct‑2507 und SciBERT feinjustiert und gegen GPT‑5.1 benchmarkt, um die Auswirkungen von Aufgabenwahl und Modellarchitektur zu analysieren.

Die komplette Implementierung ist öffentlich zugänglich unter https://github.com/ZhengxuYan/NoveltyRank und bietet damit Forschern einen sofort einsatzbereiten Rahmen, um die Originalität von KI‑Publikationen objektiv zu bewerten.