IntelliAsk: KI-gestützte Fragenoptimierung steigert Review-Qualität

In der Peer‑Review‑Welt sind tiefgründige, evidenzbasierte Fragen entscheidend. Bisher erzeugen jedoch die meisten großen Sprachmodelle (LLMs) eher oberflächliche Anfragen, die häufig mehr als die Hälfte ihrer Tokens aus der ersten Seite eines Papers entnehmen. Um dieses Problem zu lösen, hat ein Forschungsteam ein neues Belohnungsmodell namens IntelliReward entwickelt.

IntelliReward basiert auf einem eingefrorenen autoregressiven LLM, ergänzt durch trainierbare Multi‑Head‑Transformers, die die letzten 50 Token‑Zustände analysieren. Dieses Modell übertrifft herkömmliche SFT‑Baselines bei der Vorhersage von Expertenpräferenzen und liefert so eine präzisere Bewertung von Fragenqualität.

Durch die Kombination von Decoupled Clip und Dynamic Sampling Policy Optimization (DAPO) mit IntelliReward entsteht das Modell IntelliAsk. Es generiert Review‑Fragen, die den menschlichen Standards für Aufwand, Evidenz und Fundierung entsprechen. Auf etablierten Benchmarks für Logik und Schreiben zeigt IntelliAsk konsistente Verbesserungen, etwa bei MuSR (68,3 % vs. 64,7 %) und WritingBench (8,31 vs. 8,07).

Im Vergleich zum Basismodell Qwen3‑32B erzielt IntelliAsk signifikante Fortschritte in verschiedenen Aufgaben. Das Team stellt die Implementierung, Expertenpräferenz‑Annotationen und das IntelliReward‑Modell frei, um einen automatisierten Bewertungsstandard für Grounding, Aufwand und Evidenz in LLM‑generierten Review‑Fragen zu etablieren.