LLMs unter Soft-Error-Test: Erste Analyse der GPU-Ausfallanfälligkeit

Large Language Models (LLMs) erfordern enorme Rechen- und Speicherressourcen, was moderne Hochleistungs-GPUs stark belastet. Gleichzeitig machen die fortschreitende Miniaturisierung von Transistoren und die damit einhergehende Reduktion der Betriebsspannung diese Chips anfälliger für sogenannte Soft‑Errors – zufällige, nicht dauerhafte Fehler, die die Integrität von Berechnungen gefährden können.

Während frühere Untersuchungen die Zuverlässigkeit von GPUs vor allem bei allgemeinen Anwendungen oder klassischen neuronalen Netzwerken für Bildklassifikation und Objekterkennung beleuchteten, blieb die Frage, wie LLMs mit solchen Fehlern umgehen, weitgehend unbeantwortet. Die besonderen Eigenschaften von LLMs – enorme Parameterzahlen, komplexe Architektur und vielfältige Einsatzszenarien – könnten ihre Anfälligkeit stark von früheren Modellen unterscheiden.

Die vorliegende Studie führt die erste instruction‑level Fault‑Injection-Analyse von LLM‑Inference durch. Durch gezielte Einbringung von Soft‑Errors in einzelne Befehle der GPU wird die Fehlerresistenz der Modelle aus verschiedenen Blickwinkeln untersucht. Dabei werden sowohl die Architektur, die Größe der Parameter als auch die Komplexität der ausgeführten Aufgaben berücksichtigt.

Die Ergebnisse zeigen, dass die Zuverlässigkeit von LLMs stark von ihrer Struktur, dem Umfang der Parameter und der Art der Aufgabe abhängt. Diese Erkenntnisse liefern wertvolle Einblicke in die Fehleranfälligkeit moderner Sprachmodelle und legen die Grundlage für die Entwicklung effektiverer Fehler‑Toleranz‑Mechanismen in zukünftigen GPU‑basierten KI-Systemen.