Falsch beschuldigt: KI-Detektoren verwechseln leicht bearbeitete arabische Artikel

In einer aktuellen Studie wird deutlich, dass KI-Detektoren, die dafür entwickelt wurden, künstlich generierte Texte zu erkennen, bei leicht bearbeiteten menschlichen Artikeln häufig falsch liegen. Diese Fehlklassifizierung kann Autoren fälschlicherweise mit KI-Plagiaten in Verbindung bringen und das Vertrauen in die Detektoren untergraben.

Die Forscher haben zunächst ein Datenset mit 800 arabischen Artikeln erstellt, wobei die Hälfte von KI generiert und die andere Hälfte von Menschen verfasst wurde. Mit diesem Set wurden 14 große Sprachmodelle (LLMs) sowie kommerzielle KI-Detektoren getestet, um ihre Fähigkeit zu prüfen, zwischen menschlich und KI-generiertem Text zu unterscheiden.

Aus den 14 Modellen wurden die acht leistungsstärksten als Detektoren für die eigentliche Untersuchung ausgewählt. Anschließend wurde ein zweites Datenset – Ar‑APT – mit 400 menschlich verfassten Artikeln erstellt, die von 10 verschiedenen LLMs unter vier unterschiedlichen Bearbeitungseinstellungen leicht poliert wurden. Insgesamt entstanden 16.400 Testproben.

Die Ergebnisse zeigen, dass alle getesteten Detektoren eine erhebliche Anzahl von Artikeln fälschlicherweise als KI-generiert einstufen. Das bestperformende LLM, Claude‑4 Sonnet, erreichte eine Genauigkeit von 83,51 % bei unpolierten Texten, sank jedoch auf 57,63 % bei Artikeln, die leicht von LLaMA‑3 bearbeitet wurden. Auch die führenden kommerziellen Modelle zeigten ähnliche Abweichungen, wenn die Texte nur minimal poliert wurden.

Diese Erkenntnisse unterstreichen die Notwendigkeit, KI-Detektoren weiter zu verbessern und ihre Grenzen bei der Erkennung von leicht bearbeiteten menschlichen Texten zu berücksichtigen. Nur so kann verhindert werden, dass Autoren unbegründet mit KI-Plagiaten in Verbindung gebracht werden.