Zero-Shot Reinforcement Learning: Neue Wege für KI ohne Trainingsdaten

Moderne Verstärkungslern‑Systeme (RL) zeigen, dass KI in der Lage ist, komplexe Entscheidungsprozesse zu meistern, die selbst für Menschen schwer zu lösen sind. In Bereichen, in denen neue Daten leicht simuliert werden können, entwickeln diese Systeme Strategien, die die menschliche Leistungsfähigkeit weit übersteigen.

Viele gesellschaftliche Herausforderungen liegen jedoch in Domänen, in denen das Simulieren neuer Daten teuer oder unmöglich ist. In solchen Fällen greifen Forscher auf aus vorhandenen Daten abgeleitete Simulationsmodelle zurück. Diese Modelle sind jedoch nur annähernd korrekt und können bei Anfragen außerhalb ihres Trainingsbereichs völlig fehlerhaft reagieren. Das führt zu einer unvermeidlichen Diskrepanz zwischen den Trainingsumgebungen der Agenten und den realen Einsatzbedingungen.

Zero‑Shot Reinforcement Learning (ZSL‑RL) zielt darauf ab, Agenten zu entwickeln, die sich ohne zusätzliche Trainingsschüsse auf neue Aufgaben oder Domänen anpassen können. Während in idealisierten Szenarien bereits beeindruckende Fortschritte erzielt wurden, ist die Übertragbarkeit dieser Ergebnisse auf reale Anwendungen noch nicht gegeben.

Die vorliegende Arbeit identifiziert drei zentrale Einschränkungen, die bei der Umsetzung von ZSL‑RL in der Praxis zu berücksichtigen sind: Erstens die Datenqualitäts‑Beschränkung, da reale Datensätze oft klein und homogen sind; zweitens die Beobachtungs‑Beschränkung, weil Zustände, Dynamiken und Belohnungen im realen Umfeld häufig nur teilweise sichtbar sind; und drittens die Datenverfügbarkeits‑Beschränkung, da ein vorrangiger Zugriff auf Daten nicht immer gewährleistet ist. Auf Basis dieser Erkenntnisse werden neue Methoden vorgestellt, die diese Herausforderungen adressieren.

Durch die Kombination dieser Ansätze eröffnet die Arbeit einen vielversprechenden Weg, um Verstärkungslern‑Algorithmen erfolgreich in realen, datenarmen und teilweise beobachteten Umgebungen einzusetzen und damit die Kluft zwischen Forschung und Praxis zu überbrücken.