KI News: Kurz und klar.

Partially observable Markov‑Decision‑Processes (POMDPs) bilden ein zentrales Modell für Entscheidungen unter Unsicherheit. Trotz ihrer Bedeutung bleiben viele Fragen zur Verifikation und Synthese für POMDPs unlösbar oder praktisch unhandhabbar. Insbesondere zeigte die Arbeit von Madani und Kollegen (2003), dass es keinen Algorithmus gibt, der die maximale Wahrscheinlichkeit, ein Zielzustand zu erreichen, berechnen oder sogar sinnvoll approximieren kann.

In einer aktuellen Veröffentlichung auf arXiv wird gezeigt, dass Q‑Learning mit linearer Funktionsapproximation unter der sogenannten $(\varepsilon,\kappa)$‑tamed Gibbs‑Policy stabil bleibt. Das bedeutet, die Parameter des Modells bleiben stets beschränkt und es existiert eine Lösung der projizierten Bellman‑Gleichung (PBE). Diese Resultate gelten für beliebige Werte von $\kappa$ (der Inversen Temperatur) und für jedes $\varepsilon>0$, das zusätzliche Exploration einführt.

In einer wegweisenden Veröffentlichung stellen die Autoren ein neues Framework vor, das die logische Spezifikation von nicht-Markovianen Belohnungen in Markov Decision Processes (MDPs) mit riesigen Zustandsräumen ermöglicht. Durch den Einsatz von Linear Temporal Logic Modulo Theories über endliche Spuren (LTLfMT) wird die klassische temporale Logik um erste‑Ordnung‑Formeln beliebiger Theorien erweitert, wodurch komplexe Aufgaben über unstrukturierte und heterogene Datenbereiche präzise beschrieben werden können.

In der Welt der Agentic AI, wo Systeme über lange, stochastische Interaktionsspuren hinweg ihre Handlungen anpassen, stellt die Gewährleistung von Sicherheit eine besondere Herausforderung dar. Das Verhalten dieser Agenten hängt von nichtdeterministischen Umgebungen und probabilistischen Modellausgaben ab, was herkömmliche Prüfmethoden erschwert.

Automatisierte Entscheidungen in unsicheren Umgebungen erfordern ein feines Gleichgewicht zwischen Ausnutzung vorhandener Informationen und der Erkundung neuer Möglichkeiten. Traditionelle Verfahren behandeln diese beiden Aspekte getrennt und greifen dabei auf heuristische Regeln zurück. Active Inference hingegen vereint sie in einem einzigen Optimierungsproblem, dem Minimieren der Expected Free Energy (EFE).