Partial GFlowNet: Schnellere Konvergenz in Zustandsräumen durch Partitionierung

Generative Flow Networks (GFlowNets) haben sich als vielversprechende Methode etabliert, um Kandidaten mit hoher Belohnung zu erzeugen – und zwar mit einer Wahrscheinlichkeit, die proportional zu deren Nutzen ist. In großen Zustandsräumen stoßen die bisherigen GFlowNets jedoch an ihre Grenzen, weil sie den gesamten Raum frei erkunden und dadurch lange brauchen, um stabile Ergebnisse zu erzielen.

Die neue Arbeit löst dieses Problem, indem sie die Exploration gezielt einschränkt. Ein Planner teilt den gesamten Zustandsraum in überlappende, kleinere Teilbereiche auf. Durch die begrenzte Größe dieser Teilräume kann der Actor schnell die vielversprechenden Unterregionen identifizieren und fokussiert dort weiterarbeiten.

Ein heuristischer Wechselmechanismus sorgt dafür, dass der Actor nicht in bereits erkundete oder wenig belohnende Teilbereiche zurückfällt. Durch wiederholtes Durchlaufen dieser Teilräume lernt das System, sich konsequent auf die hochbelohnenden Subregionen zu konzentrieren und damit die Konvergenz deutlich zu beschleunigen.

Experimentelle Tests auf mehreren Standarddatensätzen zeigen, dass das neue Partial GFlowNet nicht nur schneller konvergiert, sondern auch Kandidaten mit höheren Belohnungen liefert und gleichzeitig die Vielfalt der Ergebnisse signifikant steigert.