ReCUBE: Benchmark prüft, wie LLMs Repository‑Kontext nutzen

In der jüngsten Veröffentlichung auf arXiv (2603.25770v1) wird ein neues Benchmark namens ReCUBE vorgestellt, das speziell darauf abzielt, die Fähigkeit von großen Sprachmodellen (LLMs) zu messen, wie gut sie den Kontext eines gesamten Code‑Repositories bei der Generierung von Code nutzen können. ReCUBE fordert die Modelle dazu auf, eine maskierte Datei innerhalb eines realen Repositories zu rekonstruieren, wobei sie ausschließlich die übrigen Quellcode‑Dateien, Abhängigkeitsangaben und Dokumentationen als Kontext verwenden dürfen.

Die Bewertung erfolgt anhand von tests, die sowohl die interne Logik eines Moduls als auch die Integration zwischen verschiedenen Dateien simulieren – ein Ansatz, der reale Software‑Entwicklungsabläufe nachbildet. Zusätzlich wird das Caller‑Centric Exploration (CCE) Toolkit vorgestellt, ein Satz von graphbasierten Werkzeugen, die Agenten dabei unterstützen, gezielt die relevantesten Aufrufer‑Dateien während der Repository‑Erkundung zu finden.

In Experimenten mit acht Modellen und vier unterschiedlichen Szenarien zeigte sich, dass die Nutzung von Repository‑Kontext für die meisten Modelle nach wie vor eine große Herausforderung darstellt. Selbst das neueste Modell GPT‑5 erreichte im Full‑Context‑Setting lediglich 37,57 % strikte Erfolgsrate. Modelle, die mit dem CCE‑Toolkit ausgestattet wurden, übertrafen jedoch alle Baselines, wobei die Verbesserung bis zu 7,56 % in der strikten Erfolgsrate betragen konnte.

Der Autor veröffentlicht das Benchmark, den zugehörigen Code und das Evaluationsframework als Open‑Source‑Projekt, um die Forschung im Bereich der KI‑unterstützten Softwareentwicklung weiter voranzutreiben.