LLM-gestützte Tests kombinieren Codeabdeckung und Gameplay-Intention

Die rasante Verbreitung des „Games as a Service“-Modells verlangt nach häufigen Inhaltsupdates, was die Qualitätssicherung stark belastet. Automatisierte Tests gelten als vielversprechende Lösung, doch bisherige Ansätze trennen sich in zwei Kategorien: Code‑zentrierte Methoden prüfen strukturelle Abdeckung, ohne den Spielkontext zu berücksichtigen, während spielerzentrierte Agenten das übergeordnete Ziel validieren, aber oft die spezifischen Codeänderungen vernachlässigen.

Um diese Lücke zu schließen, stellt das neue Framework SMART (Structural Mapping for Augmented Reinforcement Testing) vor. SMART nutzt große Sprachmodelle, um Unterschiede im abstrakten Syntaxbaum zu interpretieren und daraus funktionale Intentionen abzuleiten. Auf dieser Basis wird ein kontextbewusstes Hybrid‑Belohnungssystem aufgebaut, das Reinforcement‑Learning‑Agenten dazu anleitet, spielerische Ziele schrittweise zu erfüllen und gleichzeitig gezielt veränderte Codezweige zu erkunden.

Die Evaluation von SMART in den Umgebungen Overcooked und Minecraft zeigt beeindruckende Ergebnisse: Das System erreicht über 94 % Branch‑Coverage der modifizierten Codeabschnitte – fast doppelt so viel wie herkömmliche Reinforcement‑Learning‑Methoden – und hält gleichzeitig eine 98 %ige Erfolgsquote bei der Aufgabenerfüllung. Damit demonstriert SMART eine effektive Balance zwischen struktureller Vollständigkeit und funktionaler Korrektheit.