GREPO: Erstes Benchmark für GNNs zur Fehlerlokalisierung in Code‑Repositories

Die Lokalisierung von Fehlern auf Repository‑Ebene – also das Auffinden der genauen Stelle, an der Code geändert werden muss, um einen Bug zu beheben – stellt eine zentrale Herausforderung in der Softwareentwicklung dar. Große Sprachmodelle (LLMs) stoßen hier häufig an ihre Grenzen, weil sie nicht in der Lage sind, den gesamten Code eines Repositories gleichzeitig zu verarbeiten. Deshalb greifen Entwickler häufig auf Retrieval‑Methoden wie Schlüsselwort‑Suche, Text‑Ähnlichkeit oder einfache graphbasierte Heuristiken wie Breadth‑First Search zurück.

Graph Neural Networks (GNNs) bieten eine vielversprechende Alternative, da sie komplexe, repositoryweite Abhängigkeiten modellieren können. Ihre Anwendung wurde jedoch bislang durch das Fehlen eines geeigneten Benchmarks behindert. Mit GREPO füllt die Forschungslücke: Das neue Benchmark umfasst 86 Python‑Repositories und 47.294 Bug‑Fix‑Aufgaben, die in graphbasierte Datenstrukturen überführt wurden und sofort für GNN‑Modelle nutzbar sind.

In einer umfassenden Evaluation verschiedener GNN‑Architekturen konnten die Autoren herausragende Ergebnisse erzielen, die die etablierten Informations‑Retrieval‑Baselines deutlich übertreffen. GREPO demonstriert damit das enorme Potential von GNNs für die Fehlerlokalisierung und stellt eine solide Basis für zukünftige Forschungsarbeiten dar. Der zugehörige Code ist auf GitHub verfügbar: https://github.com/qingpingmo/GREPO.