KI News: Kurz und klar.

Reinforcement Learning (RL) für große Sprachmodelle (LLMs) leidet häufig unter Trainingskollapsen bei Aufgaben mit langen Zeithorizonten, weil die Gradientenvarianz explodiert. Um dem entgegenzuwirken, setzen Forscher üblicherweise ein Baseline‑Modell für die Vorteil‑Berechnung ein. Traditionelle Wertmodelle sind jedoch schwer zu optimieren, und herkömmliche gruppenbasierte Baselines berücksichtigen die Heterogenität von Token‑Sequenzen nicht.

Bayessche neuronale Netze (BNNs) benötigen skalierbare Sampling‑Algorithmen, um die Posterior‑Verteilungen der Parameter zu approximieren. Traditionelle stochastische Gradient‑Markov‑Chain‑Monte‑Carlo‑Methoden (SGMCMC) sind jedoch stark von der Wahl des Stepsizes abhängig, und adaptive Varianten wie pSGLD liefern ohne einen aufwändigen Divergenz‑Korrekturterm oft keine korrekte invariant Measure.