Neues Stress-Testverfahren prüft ethische Robustheit von Sprachmodellen

Die Bewertung der ethischen Stabilität großer Sprachmodelle (LLMs) in realen Softwaresystemen bleibt bislang schwierig, besonders wenn Nutzer systematisch versuchen, das Modell zu manipulieren. Traditionelle Sicherheitsbenchmarks messen meist nur einzelne Interaktionen und aggregierte Kennzahlen wie Toxizität oder Ablehnungsraten. Dadurch bleiben seltene, aber gravierende Fehlverhalten und allmähliche Verschlechterungen oft unentdeckt.

In einer neuen Studie wird das „Adversarial Moral Stress Testing“ (AMST) vorgestellt – ein stressbasiertes Evaluationsframework, das LLMs gezielt unter mehrtägigen, adversarialen Dialogen prüft. AMST transformiert Eingabeaufforderungen strukturiert und nutzt robuste, distributionsbewusste Metriken, die Varianz, Tail‑Risiken und zeitlichen Verhaltensdrift über mehrere Runden hinweg erfassen.

Die Methode wurde an führenden Modellen wie LLaMA‑3‑8B, GPT‑4o und DeepSeek‑v3 getestet. Die Ergebnisse zeigen deutliche Unterschiede in den Robustheitsprofilen und decken Degradationsmuster auf, die bei herkömmlichen Einzelrunde-Tests verborgen bleiben. Besonders wichtig ist, dass die Robustheit stärker von stabilen Verteilungen und Tail‑Verhalten abhängt als vom durchschnittlichen Leistungswert.

AMST bietet damit einen skalierbaren, modellunabhängigen Ansatz, um die ethische Zuverlässigkeit von LLMs unter realistischen, mehrstufigen Interaktionen systematisch zu prüfen und potenzielle Schwachstellen frühzeitig zu erkennen.