CAST: Stabile Textanalyse mit LLMs für Datenanalysen

In einer neuen Veröffentlichung auf arXiv wird CAST vorgestellt – ein Framework, das die Stabilität von Textanalysen mit großen Sprachmodellen (LLMs) für tabellarische Daten deutlich verbessert. Die Autoren betonen, dass die beiden Kernaufgaben der Textanalyse, die Zusammenfassung von Korpora und die Zeilen‑Tagging‑Labeling, bislang von LLMs nicht zuverlässig genug ausgeführt werden konnten, um den hohen Qualitätsansprüchen der Datenanalyse gerecht zu werden.

CAST kombiniert zwei zentrale Techniken: Algorithmic Prompting, das dem Modell einen strukturierten Ablauf vorgibt, und Thinking‑before‑Speaking, bei dem das Modell vor der endgültigen Ausgabe explizite Zwischenschritte festlegt. Durch diese Einschränkungen wird der latente Denkpfad des Modells kontrolliert, was zu konsistenteren Ergebnissen führt.

Zur Messung der Stabilität wurden die Metriken CAST‑S für Aufzählungs‑Zusammenfassungen und CAST‑T für Tagging eingeführt. In umfangreichen Experimenten mit verschiedenen LLM‑Backbones zeigte CAST eine Stabilitätssteigerung von bis zu 16,2 % im Vergleich zu allen Baselines, ohne die Qualität der Ausgaben zu beeinträchtigen – im Gegenteil, die Qualität blieb gleich oder verbesserte sich.