Konzeptbasierte Erklärungen verbessern die Erkennung toxischer Sprache

Die rasante Verbreitung von Social‑Media hat nicht nur die Kommunikation erleichtert, sondern auch die Verbreitung schädlicher Inhalte beschleunigt. Trotz bedeutender Fortschritte bei der Erkennung toxischer Sprache bleibt die Nutzung von Konzept‑basierten Erklärungen bislang begrenzt.

In der vorliegenden Studie werden typische Unterkategorien wie „obszön“, „Bedrohung“, „Beleidigung“, „Identitätsangriff“ und „sexuell explizit“ als Konzepte verwendet, die stark darauf hinweisen, ob ein Text toxisch ist. Allerdings führt eine unverhältnismäßige Gewichtung dieser Konzepte häufig zu Fehlklassifikationen.

Um diesem Problem zu begegnen, wird die Concept‑Gradient‑Methode (CG) vorgestellt. Sie liefert eine kausale Interpretation, indem sie misst, wie Änderungen an den Konzepten die Modellvorhersage direkt beeinflussen. Ergänzend wird ein Targeted Lexicon Set entwickelt, das toxische Wörter identifiziert, die zu Fehlklassifikationen beitragen.

Zur Bewertung der Bedeutung dieser Lexikone werden Word‑Concept Alignment (WCA) Scores berechnet, die quantifizieren, inwieweit die Wörter Fehler durch Übergewichtung der Konzepte verursachen. Abschließend wird eine lexikonenfreie Augmentierungsstrategie eingeführt, die toxische Stichproben generiert, ohne vordefinierte toxische Lexikone zu verwenden. Diese Methode ermöglicht es, die Auswirkungen von Übergewichtung systematisch zu untersuchen und die Robustheit von Textklassifikatoren zu erhöhen.