LLMs sind mathematisch verwundbar: Neue Studie zeigt Schwächen bei Wortänderungen

Eine aktuelle Untersuchung hat gezeigt, dass große Sprachmodelle (LLMs) bei mathematischen Aufgaben stark anfällig für kleine Eingabeveränderungen sind. Trotz ihrer beeindruckenden Leistungen bei komplexen Rechenaufgaben bleiben die Robustheit und Effizienz dieser Modelle unter geringfügigen Störungen unzureichend erforscht.

Die Forscher haben die Methode MSCR entwickelt, die gezielt einzelne Wörter in einer Frage durch semantisch ähnliche Kandidaten ersetzt. Dabei nutzt MSCR drei Informationsquellen: die Kosinusähnlichkeit im Embedding‑Raum des Modells, das WordNet‑Lexikon und kontextuelle Vorhersagen eines Masked Language Models. Durch diese Kombination entstehen für jedes Wort mehrere potenzielle Ersatzoptionen, die systematisch gefiltert und einzeln eingesetzt werden.

In umfangreichen Tests mit den Benchmarks GSM8K und MATH500 zeigte sich, dass schon ein einzelnes Wort ausgetauscht die Genauigkeit der Modelle drastisch senken kann – bis zu 49,89 % bei GSM8K und 35,40 % bei MATH500. Gleichzeitig verlängern sich die Antworten deutlich, was zu redundanteren Rechenwegen und höherem Ressourcenverbrauch führt.

Die Ergebnisse unterstreichen die Schwachstellen der aktuellen LLM‑Architekturen in mathematischen Problemlösungen und weisen auf erhebliche Effizienzengpässe hin. Die Studie liefert damit wichtige Erkenntnisse für die Weiterentwicklung robuster und ressourcenschonender Sprachmodelle.