Action Shapley: Neue Metrik für effiziente Trainingsdatenauswahl in RL

In vielen Offline‑ und modellbasierten Reinforcement‑Learning‑Systemen kommen World‑Models zum Einsatz, um die zugrunde liegenden Umgebungen zu simulieren. Gerade dort, wo direkte Interaktionen mit der realen Welt teuer, gefährlich oder schlicht unpraktisch sind, entscheidet die Qualität der Trainingsdaten über den Erfolg und die Interpretierbarkeit des Modells.

Die neue Methode „Action Shapley“ bietet einen agnostischen, unverzerrten Ansatz zur Auswahl dieser Daten. Sie bewertet, welche Beobachtungen und Aktionen den größten Beitrag zum Lernfortschritt leisten, ohne dabei auf spezifische Modellannahmen angewiesen zu sein.

Um die sonst exponentielle Rechenzeit der klassischen Shapley‑Berechnung zu umgehen, wurde ein randomisierter, dynamischer Algorithmus entwickelt. Dieser reduziert die Komplexität erheblich und ermöglicht die praktische Anwendung in großen Datensätzen.

In fünf realen, datenbeschränkten Fallstudien zeigte die Methode eine Leistungssteigerung von über 80 % gegenüber herkömmlichen Berechnungen. Darüber hinaus übertrifft die Action‑Shapley‑basierte Auswahlstrategie sämtliche ad‑hoc‑Ansätze bei der Auswahl von Trainingsdaten für World‑Models.