LLM‑Ideen werden schwerer zu erkennen: Paraphrasierung schwächt Unterscheidung

Mit der wachsenden Nutzung von großen Sprachmodellen (LLMs) als Forschungsagenten wird es immer wichtiger, zwischen von Menschen und von LLMs generierten wissenschaftlichen Ideen zu unterscheiden. Ein neues arXiv‑Paper untersucht, wie gut aktuelle Machine‑Learning‑Modelle diese Unterscheidung noch leisten können – besonders wenn die Ideen mehrfach paraphrasiert werden.

Die Autoren haben eine systematische Evaluation durchgeführt und dabei die Leistung von State‑of‑the‑Art‑Modellen (SOTA) gemessen. Die Ergebnisse zeigen, dass die Erkennungsrate nach fünf aufeinanderfolgenden Paraphrasierungen im Durchschnitt um 25,4 % sinkt. Das bedeutet, dass die charakteristischen Signale eines LLMs bei wiederholter Umformulierung stark verwischen.

Ein interessanter Befund ist, dass die Einbeziehung des zugrunde liegenden Forschungsproblems als Kontext die Erkennungsleistung um bis zu 2,97 % steigern kann. Dennoch bleibt die Herausforderung groß, besonders wenn die Ideen in einen vereinfachten, nicht‑experten‑orientierten Stil paraphrasiert werden – ein Faktor, der den größten Beitrag zur Erosion der Unterscheidbarkeit leistet.

Die Studie unterstreicht damit die Notwendigkeit, neue Methoden zu entwickeln, um die Herkunft wissenschaftlicher Ideen zuverlässig zu bestimmen, und legt nahe, dass die aktuelle Technologie noch nicht ausreicht, um LLM‑generierte Inhalte nach mehrmaliger Umformulierung eindeutig zu identifizieren.