LLMs setzen Maßstäbe bei arabischer Text- und Meme-Moderation – Mahed 2025 Sieger

Der rasante Aufstieg sozialer Medien hat arabische Texte und Memes zu einer zentralen Form der digitalen Kommunikation gemacht. Während sie oft humorvoll und informativ sind, werden sie zunehmend für Hassrede und beleidigende Sprache missbraucht. Daraus ergibt sich ein dringender Bedarf an präzisen Analysewerkzeugen, die solche Inhalte zuverlässig erkennen.

In der vorliegenden Studie wird untersucht, wie große Sprachmodelle (LLMs) dazu beitragen können, Hoffnung, Hassrede, beleidigende Sprache und emotionale Ausdrücke in arabischen Texten und Memes zu identifizieren. Die Autoren vergleichen die Leistung von Basis‑LLMs, feinabgestimmten Modellen und vortrainierten Einbettungsmodellen.

Die Bewertung erfolgt anhand eines Datensatzes aus dem Arabisch‑NLP‑MAHED 2025‑Challenge, der sowohl reine Texte als auch Memes umfasst. Die Modelle werden auf diesem spezifischen Material trainiert und anschließend auf drei Aufgaben getestet: Erkennung von Hoffnung, Erkennung von Hassrede und Erkennung von Emotionen.

Die Ergebnisse zeigen, dass GPT‑4o‑mini, feinabgestimmt auf arabische Texte, sowie Gemini Flash 2.5, feinabgestimmt auf arabische Memes, die besten Leistungen erzielen. Sie erreichen makro‑F1‑Scores von 72,1 % für Aufgabe 1, 57,8 % für Aufgabe 2 und 79,6 % für Aufgabe 3 und gewinnen damit die Gesamtwertung der Mahed 2025‑Challenge.

Diese Erkenntnisse demonstrieren, dass LLMs ein vielversprechendes Werkzeug für die Moderation arabischer Inhalte darstellen. Sie ermöglichen eine differenzierte Analyse von Texten und Memes und tragen damit zu effektiveren und effizienteren Moderationssystemen bei.