LLM‑gestützte Argumentklassifikation: GPT‑5.2 übertrifft Llama und DeepSeek

Eine neue Studie aus dem Bereich Argument Mining zeigt, wie moderne Sprachmodelle die Klassifikation von Argumenten revolutionieren. Die Autoren untersuchten die Leistungsfähigkeit von GPT‑5.2, Llama 4 und DeepSeek auf zwei großen, öffentlich zugänglichen Korpora – Args.me und UKP – und setzten dabei fortschrittliche Prompting‑Strategien ein.

Die Evaluation umfasste Chain‑of‑Thought‑Prompting, Prompt‑Reformulierung, Mehrfach‑Voting und eine vertrauensbasierte Klassifikation. Durch diese Techniken konnten die Modelle ihre Genauigkeit signifikant steigern. GPT‑5.2 erzielte die höchste Leistung: 78 % bei UKP und 91,9 % bei Args.me. Die zusätzlichen Prompt‑Optimierungen führten zu einer Verbesserung von 2 – 8 % in Genauigkeit und F1‑Score.

Trotz der beeindruckenden Zahlen weisen alle Modelle gemeinsame Schwächen auf. Zu den systematischen Fehlerquellen gehören Instabilitäten bei Prompt‑Variationen, Schwierigkeiten beim Erkennen impliziter Kritik, das Interpretieren komplexer Argumentstrukturen und die Zuordnung von Argumenten zu konkreten Behauptungen.

Die Arbeit liefert die erste umfassende Bewertung von LLM‑basierten Argumentklassifikatoren und liefert wertvolle Erkenntnisse für die Weiterentwicklung von Argument Mining‑Systemen. Sie unterstreicht, dass fortgeschrittene Prompting‑Techniken entscheidend sind, um die Leistungsfähigkeit von Sprachmodellen in diesem anspruchsvollen Anwendungsbereich zu maximieren.