LLMs zeigen Schwächen: Mathematisches Verständnis unter numerischer Störung getestet

In einer neuen Studie von Forschern aus dem Bereich der künstlichen Intelligenz wurde ein innovatives Störungsframework entwickelt, um die mathematische Problemlösefähigkeit von Large Language Models (LLMs) zu prüfen. Durch das Einfügen semantisch irrelevanter Sätze und die schrittweise Erhöhung der Störungsintensität konnten die Autoren die Grenzen der Robustheit der Modelle aufdecken.

Die Ergebnisse zeigen, dass LLMs bei Störungen ohne Zahlen weitgehend stabil bleiben, jedoch eine klare Schwelle existiert. Mit steigender Störungsintensität sinkt die Leistung, besonders wenn die störenden Sätze numerische Angaben enthalten. Kleine Open‑Source‑Modelle verlieren bis zu 51,55 % ihrer Genauigkeit, während die leistungsstärksten kommerziellen Modelle einen Rückgang von 3 % bis 10 % verzeichnen.

Ein zusätzlicher Test, bei dem die Kernfrageformulierung weggelassen wurde, verdeutlicht, dass die Modelle stark auf die genaue Aufgabenstellung angewiesen sind. Die Analyse des Lösungsprozesses legt nahe, dass numerische Störungen die Modelle dazu bringen, falsche Antworten zu generieren, und dass diese Fehler mit zunehmender Störungsintensität zunehmen.

Die Studie unterstreicht damit, dass trotz beeindruckender Fortschritte im mathematischen Denken LLMs noch anfällig für numerische Ablenkungen sind. Für die Entwicklung zuverlässiger KI‑Assistenten ist es daher entscheidend, robuste Prüfungen und gezielte Trainingsmethoden einzusetzen, um die Fehleranfälligkeit in komplexen Rechenaufgaben zu reduzieren.