KI News: Kurz und klar.

Reinforcement Learning (RL) verspricht, Entscheidungsprozesse in der realen Welt zu revolutionieren, indem autonome Agenten aus Erfahrung lernen. Doch die Umsetzung von RL in der Mensch‑Roboter‑Interaktion ist mit erheblichen Herausforderungen verbunden: Man muss geeignete Zustandsdarstellungen und Belohnungsfunktionen definieren, die entscheidend für die Lernleistung und die Qualität der erlernten Politik sind.

Die neueste Version des PCL-Reasoner, ein 32‑Billionen‑Parameter‑LLM, setzt neue Maßstäbe im mathematischen Problemlösen. Basierend auf dem Qwen2.5‑32B‑Modell wird es zunächst durch gezieltes Supervised Fine‑Tuning (SFT) geschärft und anschließend mit Reinforcement Learning (RL) weiterentwickelt.

Die Energieeffizienz hat sich zu einem entscheidenden Faktor im Design moderner Recheninfrastrukturen entwickelt. Durch die Integration von Leistungssteuerung und Sensorik in CPU‑Architekturen können Betriebssysteme nun aktiv den Energieverbrauch und die Performance in Echtzeit überwachen und anpassen.

Ein innovatives Verfahren namens V-OCBF (Value‑Guided Offline Control Barrier Functions) ermöglicht es, Sicherheitsfilter für autonome Systeme ausschließlich aus bereits vorhandenen Demonstrationsdaten zu lernen. Damit wird die Notwendigkeit von Online‑Interaktion oder handgefertigten Barrieren überflüssig.

Ein neues Verfahren namens Model-Based RL with Action Chunks (MAC) zeigt, dass modellbasiertes Reinforcement Learning auch bei sehr großen, komplexen Offline‑Datensätzen bis zu 100 M Transaktionen effizient funktioniert. Durch die Verwendung von „Aktionsblöcken“ – Sequenzen von Aktionen statt einzelner Schritte – reduziert MAC die kumulativen Fehler, die bei langen Rollouts entstehen, und verbessert die Vorhersagegenauigkeit des dynamischen Modells.

In der Behandlung von Sepsis wird Reinforcement Learning (RL) zunehmend eingesetzt, um Therapieentscheidungen zu optimieren. Bisher wurden die meisten Studien jedoch mit einer 4‑Stunden‑Zeitschrittgröße gearbeitet, was Bedenken hinsichtlich einer zu groben Abbildung der Patientenentwicklung aufwirft.

In der Offline‑Reinforcement‑Learning‑Forschung ist die Überbewertung von Werten durch Aktionen außerhalb der Trainingsverteilung ein zentrales Problem, das die Leistung von Policies stark einschränkt. Um diesem Hindernis entgegenzuwirken, setzen moderne Ansätze Diffusionsmodelle ein, die dank ihrer ausgeprägten Fähigkeit zur Verteilungsanpassung besonders konservativ agieren können. Allerdings führen bisherige Methoden häufig zu einer übermäßigen Regularisierung von redundanten Aktionen in Datensätzen mit geringer Qualität, was zu einer übermäßigen Vorsicht und einem Ungleichgewicht zwischen Ausdruckskraft und Effizienz der Modelle führt.