VoxelCodeBench: Neue Plattform zur Bewertung von 3D-Code-Generierung

Eine brandneue Plattform namens VoxelCode wurde vorgestellt, die es ermöglicht, Code‑Generierungsmodelle für die 3D‑Raum‑Verständnis‑Forschung systematisch zu testen. Durch die Ausführung von generiertem Code in realistischen Umgebungen und die Bewertung der Ergebnisse über reine Syntax‑Korrektheit hinaus liefert VoxelCode ein umfassendes Bild der Fähigkeiten moderner KI‑Modelle.

VoxelCode verbindet die Eingabe von Aufgaben in natürlicher Sprache mit einer API‑gestützten Codeausführung im Unreal Engine‑Umfeld. Zusätzlich bietet die Plattform einen einheitlichen Evaluations‑Pipeline, die sowohl automatisierte Metriken als auch menschliche Bewertungen einschließt. So lässt sich die Qualität der generierten 3D‑Modelle aus mehreren Perspektiven prüfen.

Zur Demonstration der Leistungsfähigkeit wurde VoxelCodeBench als Benchmark für Voxel‑Manipulationen entwickelt. Erfasst werden drei Dimensionen des räumlichen Denkens: symbolische Interpretation, geometrische Konstruktion und künstlerische Komposition. Die Tests mit führenden Code‑Generierungsmodellen zeigen, dass das Erzeugen ausführbaren Codes relativ einfach ist, während die Erzeugung räumlich korrekter Ergebnisse – besonders bei geometrischer Konstruktion und Mehr‑Objekt‑Komposition – deutlich schwieriger bleibt.

Die Entwickler haben die gesamte Plattform sowie den Benchmark als Open‑Source veröffentlicht. Damit stellen sie der Forschungsgemeinschaft ein erweiterbares Fundament bereit, um neue 3D‑Code‑Generierungs‑Benchmarks zu entwickeln und die räumliche Denkfähigkeit zukünftiger Modelle weiter zu untersuchen.