LLM-Agenten: Neue Tests zeigen Schwäche bei semantischer Stabilität

Large Language Models (LLMs) werden zunehmend als eigenständige Denkagenten eingesetzt, um Entscheidungen zu unterstützen, wissenschaftliche Probleme zu lösen und Multi-Agenten-Systeme zu koordinieren. Doch bevor diese Agenten in kritischen Anwendungen eingesetzt werden können, muss sichergestellt werden, dass ihre Schlussfolgerungen auch bei semantisch äquivalenten Eingaben stabil bleiben – ein Konzept, das die Autoren als „semantische Invarianz“ bezeichnen.

Traditionelle Benchmark-Tests, die die Genauigkeit auf festgelegten Problemformulierungen messen, erfassen diese wichtige Zuverlässigkeitsdimension nicht. Um dem entgegenzuwirken, hat das Forschungsteam einen metamorphischen Testrahmen entwickelt, der acht semantisch gleichwertige Transformationen (Identität, Paraphrase, Faktenumordnung, Erweiterung, Kontraktion, akademischer Kontext, geschäftlicher Kontext und kontrastive Formulierung) systematisch anwendet.

Die Tests wurden an sieben führenden Modellen aus vier Architekturfamilien durchgeführt: Hermes (70 B, 405 B), Qwen3 (30 B‑A3B, 235 B‑A22B), DeepSeek‑R1 und gpt‑oss (20 B, 120 B). Insgesamt wurden 19 mehrstufige Denkaufgaben in acht wissenschaftlichen Bereichen evaluiert.

Die Ergebnisse sind überraschend: Die Modellgröße sagt nichts über die Robustheit aus. Das kleinere Qwen3‑30 B‑A3B erzielte die höchste Stabilität mit 79,6 % invarianten Antworten und einer semantischen Ähnlichkeit von 0,91. Größere Modelle zeigten hingegen größere Anfälligkeit für Eingabevariationen.

Diese Studie unterstreicht die Notwendigkeit, neben der reinen Genauigkeit auch die semantische Invarianz als kritischen Qualitätsindikator für autonome LLM-Agenten zu berücksichtigen.