MultiVer: Zero-Shot Multi-Agent System übertrifft feinabgestimmte Modelle

Die neueste Veröffentlichung auf arXiv (2602.17875v1) stellt MultiVer vor – ein Zero‑Shot Multi‑Agent System, das Schwachstellen in Code erkennt, ohne jemals ein Fine‑Tuning durchlaufen zu müssen. Trotz dieser Einschränkung erreicht MultiVer einen Rekord‑Recall von 82,7 % auf dem PyVul‑Benchmark, was einen Vorsprung von 1,4 Prozentpunkten gegenüber dem feinabgestimmten GPT‑3.5 bedeutet. Damit ist es das erste Zero‑Shot System, das die Leistung feinabgestimmter Modelle auf diesem Test übertrifft.

Auf dem SecurityEval‑Benchmark erzielt die gleiche Architektur eine Detektionsrate von 91,7 %, was mit den Ergebnissen spezialisierter Systeme vergleichbar ist. Der hohe Recall geht jedoch mit einem Präzisionsnachteil einher: 48,8 % Präzision im Vergleich zu 63,9 % bei feinabgestimmten Baselines, was zu einem F1‑Score von 61,4 % führt.

Durch gezielte Ablationsexperimente konnte gezeigt werden, dass das Multi‑Agent Ensemble allein einen Recall‑Zuwachs von 17 Prozentpunkten gegenüber einer ein‑Agent‑Analyse der Sicherheitskomponente liefert. Diese Erkenntnis unterstreicht die Kraft der Ensemble‑Strategie, insbesondere in Szenarien, in denen Fehlalarme weniger kritisch sind als verpasste Bedrohungen.

Die Ergebnisse deuten darauf hin, dass Zero‑Shot Multi‑Agent Systeme für Sicherheitsanwendungen, bei denen Fehlalarme tolerierbar sind, die Leistung feinabgestimmter Modelle auf dem wichtigsten Messwert – dem Recall – nicht nur erreichen, sondern sogar übertreffen können.