KI News: Kurz und klar.

Model‑free Deep‑Reinforcement‑Learning hat in den letzten Jahren enorme Erfolge erzielt, doch wenn diese Algorithmen in der realen Welt eingesetzt werden, bleiben Sicherheitsbedenken bestehen. Um diesen Herausforderungen zu begegnen, brauchen Agenten, die Risiken berücksichtigen können. Ein häufig genutztes Werkzeug dafür ist der entropische Risikomaß, doch bisherige Policy‑Gradient‑Methoden, die dieses Maß optimieren, führen zu hochvarianten und numerisch instabilen Updates. Dadurch beschränken sich bestehende risiko‑sensitiv‑en Ansätze auf sehr einfache Aufgaben und tabellarische Umgebungen.

Das neue ProAct‑Framework löst ein langjähriges Problem von Large‑Language‑Model‑Agenten: die Schwierigkeit, in interaktiven Umgebungen langfristig zu planen. Durch die Kombination von gezieltem Training und einer effizienten Wertschätzung können Agenten künftig Fehler, die bei der Simulation zukünftiger Zustände entstehen, deutlich reduzieren.

Diffusionsmodelle sind bekannt für ihre Fähigkeit, hochwahrscheinliche Bilder zu erzeugen, stoßen jedoch häufig an die Grenzen, wenn sie an spezifische Zielsetzungen angepasst werden müssen. Traditionelle Feinabstimmungsansätze neigen dazu, die Belohnung zu stark zu optimieren, was zu künstlichen, wenig vielfältigen Ergebnissen führt.

In einer kürzlich veröffentlichten Arbeit auf arXiv wird das NVMDP‑Framework vorgestellt, das klassische Markov‑Entscheidungsprozesse (MDPs) auf nicht‑stationäre Umgebungen erweitert und die Diskontierungsrate flexibel mit Zeit und Übergängen variieren lässt. Dadurch werden sowohl unendliche‑horizontale, stationäre MDPs als auch endliche‑horizontale Modelle als Spezialfälle abgedeckt, ohne die Zustands‑, Aktions‑ oder Belohnungsstruktur zu verändern.

In einer neuen Untersuchung auf arXiv (2511.07878v1) wird gezeigt, dass der Wert einer Trajektorie in der Policy‑Gradient‑Kontrolle stark vom gewählten Lernalgorithmus abhängt. Durch die Anwendung von Trajectory Shapley in einem unsicheren LQR‑Modell konnten die Autoren eine klare negative Korrelation zwischen der Persistenz der Excitation (PE) und dem marginalen Wert unter dem klassischen REINFORCE‑Algorithmus feststellen (r ≈ –0.38).

Wir freuen uns, torchforge vorzustellen – eine neue, reine PyTorch‑Bibliothek, die es Forschern und Entwicklern ermöglicht, sich ausschließlich auf die Entwicklung von Algorithmen zu konzentrieren, ohne sich mit komplexer Infrastruktur auseinandersetzen zu müssen.