Google's Perspective API: Mit formaler Logik gegen Negationsangriffe geschützt

Die Zunahme von Cyberbullying auf Social‑Media-Plattformen hat die Dringlichkeit für effektive Moderationswerkzeuge deutlich erhöht. Aktuelle automatisierte Toxizitäts‑Erkennungssysteme basieren meist auf maschinellen Lernalgorithmen, sind jedoch anfällig für gezielte Angriffe, bei denen durch logische Modifikationen – etwa Negationen – die Erkennung manipuliert wird.

In der neuen Studie wird ein formal‑logisches Wrapper‑Modell vorgestellt, das bestehende ML‑Systeme sowohl vor der Verarbeitung als auch nach der Ausgabe ergänzt. Durch die Integration von formaler Argumentation werden Negationsangriffe abgewehrt und die Zuverlässigkeit der Toxizitäts‑Bewertung signifikant gesteigert.

Die Autoren haben den Ansatz an mehreren gängigen Machine‑Learning‑Modellen getestet und mit einem speziell entwickelten Negations‑Adversarial‑Datensatz validiert. Die Ergebnisse zeigen, dass hybride Methoden – die formale Logik mit statistischen Algorithmen kombinieren – deutlich bessere Leistungen erbringen als rein statistische Lösungen.