Zero‑Shot‑LLMs steigern Fehlererkennung in Solidity‑Smart‑Contracts

Smart‑Contracts bilden das Rückgrat moderner Blockchain‑Systeme, doch ihre Anfälligkeit für subtile Sicherheitslücken birgt erhebliche finanzielle Risiken und untergräbt das Vertrauen der Nutzer. Künstliche Sprachmodelle (LLMs) eröffnen neue Möglichkeiten, diese Schwachstellen automatisch zu erkennen – die Frage bleibt jedoch, wie effektiv verschiedene Prompt‑Strategien in der Praxis sind.

In einer aktuellen Studie wurden führende LLMs anhand eines ausgewogenen Datensatzes von 400 Solidity‑Contracts getestet. Die Analyse gliederte sich in zwei Aufgaben: Erstens die Fehlererkennung, bei der das Modell entscheiden muss, ob ein Contract gefährlich ist, und zweitens die Fehlerklassifizierung, bei der das Modell die Art der Schwachstelle bestimmen soll.

Die Modelle wurden mit drei Zero‑Shot‑Prompt‑Strategien evaluiert: klassisches Zero‑Shot, Zero‑Shot Chain‑of‑Thought (CoT) und Zero‑Shot Tree‑of‑Thought (ToT). Diese Ansätze zielen darauf ab, das Modell ohne zusätzliche Trainingsdaten zu leiten.

Bei der Fehlererkennung erzielten CoT und ToT einen bemerkenswert hohen Recall von etwa 95 % bis 99 %, was bedeutet, dass fast alle echten Fehler erkannt wurden. Gleichzeitig sank die Präzision, was auf eine höhere Anzahl von Fehlalarmen hinweist – ein klassischer Trade‑off zwischen Sensitivität und Genauigkeit.

Im Bereich der Fehlerklassifizierung zeigte das Modell Claude 3 Opus die beste Leistung mit einem gewichteten F1‑Score von 90,8 % unter Verwendung des ToT‑Prompts, gefolgt von einer sehr ähnlichen Performance bei CoT.

Die Ergebnisse demonstrieren, dass Zero‑Shot‑LLMs ein vielversprechendes Werkzeug zur automatisierten Sicherheitsanalyse von Smart‑Contracts darstellen. Gleichzeitig verdeutlichen sie, dass die Wahl der Prompt‑Strategie entscheidend ist, um die Balance zwischen Erkennungsrate und Fehlalarmlage zu optimieren.