LLM-basierte Robotik: 404‑Sicherheitsrisiken bei Entscheidungsfindung

Ein einziger Fehler eines KI‑Systems in sicherheitskritischen Situationen kann Leben kosten. Mit der zunehmenden Integration von Large Language Models (LLMs) in die Entscheidungsfindung von Robotern wächst das physische Risiko: eine falsche Anweisung kann unmittelbar Menschen gefährden. In diesem Beitrag wird die dringende Notwendigkeit betont, die Leistung von LLMs systematisch zu prüfen, wenn selbst kleinste Fehler katastrophale Folgen haben können.

Durch eine qualitative Analyse eines Brand‑Evakuierungs‑Szenarios wurden kritische Fehlersituationen identifiziert. Darauf aufbauend wurden sieben Aufgaben für eine quantitative Bewertung entwickelt, die in drei Kategorien zusammengefasst sind: Vollständige Information, Unvollständige Information und Safety‑Oriented Spatial Reasoning (SOSR). Die ersten beiden Kategorien nutzen ASCII‑Karten, um Interpretationsunsicherheiten zu minimieren und die räumliche Logik von der visuellen Verarbeitung zu trennen. SOSR‑Aufgaben setzen auf natürliche Sprache, um sichere Entscheidungen in lebensbedrohlichen Kontexten zu prüfen.

Verschiedene LLMs und Vision‑Language‑Modelle (VLMs) wurden über diese Aufgaben hinweg benchmarked. Neben der Gesamtleistung wurde die Auswirkung einer 1‑Prozent‑Fehlerrate untersucht, um zu verdeutlichen, wie seltene Fehler zu katastrophalen Ergebnissen führen können. Die Ergebnisse zeigen gravierende Schwachstellen: Mehrere Modelle erreichten bei der ASCII‑Navigation eine Erfolgsrate von 0 % und wiesen in simulierten Brand‑Drills Anweisungen aus, die Roboter in gefährliche Bereiche lenkten statt zu Notausgängen.

Die Studie kommt zu der eindringlichen Erkenntnis, dass aktuelle Modelle erhebliche Sicherheitslücken aufweisen. Nur durch gezielte, systematische Tests und robuste Sicherheitsmechanismen kann die Zuverlässigkeit von LLM‑gestützter Robotik in kritischen Einsatzbereichen gewährleistet werden.