Neues XAI-Framework nutzt BERTViz & Captum zur Anomalie-Erkennung in LLMs

In der heutigen Cybersecurity-Landschaft gewinnen konversationelle KI und große Sprachmodelle (LLMs) zunehmend an Bedeutung, da sie Bedrohungen frühzeitig erkennen und Reaktionszeiten verkürzen können. Gleichzeitig bleiben Herausforderungen wie hohe Fehlalarme und komplexes Modellmanagement bestehen, die das Vertrauen in diese Systeme einschränken.

Explainable AI (XAI) soll die Entscheidungsprozesse von KI transparent machen, doch viele Sicherheitsanalysten sind noch unsicher, wie nützlich diese Erklärungen tatsächlich sind. In einer neuen Studie wurde ein Framework vorgestellt, das Anomalien erkennt und gleichzeitig hochwertige Erklärungen liefert. Dabei kommen die Visualisierungstools BERTViz und Captum zum Einsatz, ergänzt durch natürliche Sprachberichte, die auf den Attention-Ausgaben der Modelle basieren.

Durch die Kombination von visuellen Darstellungen und textbasierten Erklärungen wird der manuelle Aufwand reduziert und die Behebung von Sicherheitsvorfällen beschleunigt. Ein Vergleich der Modelle zeigte, dass RoBERTa mit einer Genauigkeit von 99,6 % die beste Leistung erbringt und sowohl Falcon‑7B, DeBERTa als auch das große Mistral‑7B bei der Anomalie-Erkennung im HDFS‑Datensatz von LogHub übertrifft.

Die Rückmeldungen der Nutzer bestätigen, dass der Chatbot einfach zu bedienen ist und das Verständnis von Anomalien deutlich verbessert. Das entwickelte Framework demonstriert damit, wie XAI die Effizienz von Cybersecurity-Workflows nachhaltig steigern kann.