UncertaintyZoo: Toolkit zur Messung von Unsicherheit in Deep Learning

Large Language Models (LLMs) finden immer mehr Einsatzbereiche, von Frage‑Antwort-Systemen über autonome Fahrzeuge bis hin zur automatischen Softwareentwicklung. Trotz ihrer beeindruckenden Leistungen treffen sie jedoch häufig falsche Vorhersagen, was besonders in sicherheitskritischen Anwendungen zu erheblichen Risiken führen kann.

Um die Zuverlässigkeit von Modellvorhersagen besser einschätzen zu können, wurden zahlreiche Methoden zur Quantifizierung von Unsicherheit (Uncertainty Quantification, UQ) entwickelt. In der Praxis fehlt jedoch ein einheitliches Werkzeug, das diese Verfahren zusammenführt und deren Anwendung erleichtert.

Hier kommt UncertaintyZoo ins Spiel: ein umfassendes Toolkit, das 29 verschiedene UQ‑Methoden in fünf Hauptkategorien unter einer standardisierten Schnittstelle bündelt. Damit können Entwickler und Forscher sofort auf eine breite Palette von Techniken zugreifen, ohne sich mit unterschiedlichen Implementierungen auseinandersetzen zu müssen.

Die Autoren haben UncertaintyZoo anhand der Erkennung von Code‑Schwachstellen mit den Modellen CodeBERT und ChatGLM3 getestet. Die Ergebnisse zeigen, dass das Toolkit zuverlässig die Unsicherheit von Vorhersagen aufdeckt und damit wertvolle Einblicke in die Vertrauenswürdigkeit der Modelle liefert.

Das Tool, inklusive eines Demonstrationsvideos, ist auf GitHub verfügbar: https://github.com/Paddingbuta/UncertaintyZoo.