Rooted Prefix Balance & Submodular Replay verbessern GFlowNet-Training

Generative Flow Networks (GFlowNets) ermöglichen es, große Sprachmodelle so zu feintunen, dass sie belohnungsproportionale Posteriorverteilungen approximieren. Trotz dieser Vorteile leiden sie häufig unter Modenkollaps, der sich in Prefix‑Kollaps und einer Länge‑Bias‑Verzerrung äußert.

Die Autoren identifizieren zwei Hauptursachen: Erstens weist das Modell schwache Kreditzuweisung für frühe Präfixe auf, und zweitens führt ein voreingenommener Replay‑Mechanismus zu einer verschobenen, nicht repräsentativen Trainingsflussverteilung.

Zur Lösung dieser Probleme stellen sie Rooted Absorbed Prefix Trajectory Balance (RapTB) vor. Diese neue Zielfunktion verankert die Subtrajektorien beim Wurzelknoten und überträgt die Endbelohnungen über absorbierte Suffix‑Backups auf Zwischenpräfixe, wodurch dichte Lernsignale auf Präfixebene entstehen.

Zusätzlich wird SubM, eine submodulare Replay‑Refresh‑Strategie, eingeführt. SubM fördert gleichzeitig hohe Belohnungen und Vielfalt, um die durch Replay verursachte Verteilungsverschiebung zu mildern.

Experimentelle Ergebnisse auf Molekülgenerierungsaufgaben mit LLMs, die SMILES‑Strings nutzen, zeigen, dass RapTB in Kombination mit SubM die Optimierungsleistung steigert, die molekulare Vielfalt erhöht und gleichzeitig eine hohe Gültigkeit beibehält.