Adaptive Partitionierung: Neues Lernverfahren für Diffusionsprozesse

Ein neues Forschungsergebnis aus dem Bereich der Verstärkungslernen-Algorithmen eröffnet Wege, komplexe Diffusionsprozesse mit unbeschränkten Zustandsräumen zu steuern. Die Arbeit richtet sich an Anwendungen in Finanzen, Wirtschaft und Operations Research, wo kontinuierliche Zustände und Aktionen sowie wachsendes Belohnungssignal häufig vorkommen.

Der vorgestellte Ansatz ist modellbasiert und nutzt eine adaptive Partitionierung des gemeinsamen Zustands‑ und Aktionsraums. In jedem Teilbereich werden Schätzer für Drift, Volatilität und Belohnung berechnet. Sobald die Schätzungen einen statistischen Vertrauensbereich überschreiten, wird die Diskretisierung verfeinert. Dieses Verfahren balanciert gezielt Exploration und Approximation und ermöglicht effizientes Lernen, selbst wenn die Zustandsräume unbeschränkt sind.

Die theoretische Analyse liefert Regret‑Grenzen, die von der Problem­länge, der Zustands­dimension, dem Wachstum der Belohnung und einer neu definierten „Zooming‑Dimension“ abhängen. Diese Dimension ist speziell auf unbeschränkte Diffusionsprozesse zugeschnitten und führt zu Ergebnissen, die die bekannten Resultate für beschränkte Settings als Spezialfall einschließen. Damit wird die theoretische Garantie auf eine breitere Klasse von Diffusionsproblemen ausgeweitet.

In numerischen Tests, die hochdimensionale Szenarien wie die Mehr‑Asset‑Mean‑Variance‑Portfolioauswahl umfassen, zeigt der Algorithmus seine Wirksamkeit. Die Experimente bestätigen, dass die adaptive Partitionierung nicht nur theoretisch, sondern auch praktisch zu einer verbesserten Lernleistung führt.