Neuer Ansatz lernt POMDPs mit versteckten Zuständen ohne vollständige Beobachtbarkeit
In einer wegweisenden Studie wird ein Verfahren vorgestellt, das autonome Agenten befähigt, Systeme mit verborgenen Zuständen zu erlernen und zu analysieren – etwa Möbel mit versteckten Verriegelungsmechanismen. Dabei wird das Problem als das Lernen der Parameter eines diskreten Partially Observable Markov Decision Process (POMDP) formuliert.
Der Agent startet mit Kenntnis der Aktions- und Beobachtungsräume, jedoch ohne Informationen über den Zustandsraum, die Übergangsfunktionen oder die Beobachtungsmodelle. Diese Eigenschaften müssen aus reinen Aktions‑Beobachtungs‑Sequenzen rekonstruiert werden.
Traditionelle Spectral‑Ansätze, wie das Lernen von Predictive State Representations (PSRs), können zwar die Anzahl versteckter Zustände direkt schätzen, liefern jedoch keine konkreten Übergangs‑ und Beobachtungswahrscheinlichkeiten, die für viele nachgelagerte Entscheidungsaufgaben entscheidend sind. Andere Methoden nutzen Tensor‑Decomposition, gehen aber häufig von vollständiger Zustandsbeobachtbarkeit und vollrangigen Übergangsmatrizen für alle Aktionen aus.
Der neue Ansatz kombiniert PSRs mit Tensor‑Methoden, um Übergangs‑ und Beobachtungsmatrizen bis zu einer Ähnlichkeitstransformation zu bestimmen. Dabei werden die Zustände in Partitionen gruppiert, sodass Zustände innerhalb einer Partition dieselben Beobachtungsverteilungen für Aktionen mit vollrangigen Übergangsmatrizen aufweisen. Das Ergebnis ist ein Modell, das die Übergangsmatrix auf Partitionsebene erfasst.
Experimentelle Tests zeigen, dass diese partitionierten Übergangsmodelle bei ausreichender Datenmenge die erwarteten Leistungswerte erreichen und damit einen bedeutenden Fortschritt in der Modellierung von POMDPs darstellen, die nicht von vollständiger Beobachtbarkeit oder vollrangigen Übergängen ausgehen.