KI News: Kurz und klar.

Die Planung von vorwärtsabhängigen Aufgaben, die auf gemeinsamen erneuerbaren Ressourcen laufen, ist ein zentrales Problem moderner Rechenplattformen. Im Resource Investment Problem (RIP) geht es darum, die Kosten für die Bereitstellung dieser Ressourcen zu minimieren, während gleichzeitig Vorgangs- und Zeitvorgaben eingehalten werden. Klassische Mixed-Integer-Programmierung und Constraint-Programmierung stoßen bei großen Instanzen an ihre Grenzen, und dynamische Updates erfordern schnelle Neuprogrammierungen unter engen Latenzbudgets.

Ein neues KI-System namens AURA (Autonomous Urban Resource Allocator) verspricht, die Auswahl von Standorten für bezahlbaren Wohnraum in Echtzeit zu revolutionieren. Durch den Einsatz von hierarchischem Multi-Agenten-Reinforcement-Learning kann AURA komplexe regulatorische Vorgaben – wie QCT, DDA und LIHTC – berücksichtigen und gleichzeitig mehrere Ziele wie Zugänglichkeit, Umweltverträglichkeit, Baukosten und soziale Gerechtigkeit optimieren.

In einer kürzlich veröffentlichten Studie wird ein innovativer Ansatz für das Bi‑Level-Reinforcement‑Learning vorgestellt, der die bisherigen Beschränkungen von zweiten‑Ordnung‑Informationen und aufwendigen Nested‑Loop‑Methoden überwindet. Der neue Algorithmus kombiniert die Vorteile von Actor‑Critic‑Methoden mit einer cleveren Regularisierung, um die Optimierung der oberen Ebene zu beschleunigen.

Ein neues Verfahren aus dem Bereich des Deep Reinforcement Learning verspricht, die Effizienz von Fahrzeugrouten deutlich zu steigern. Dabei wird das klassische Problem der Fahrzeugrouteplanung – also die optimale Zuordnung von Fahrzeugen zu Kundenaufträgen – unter dem Zusatz eines festen Zeitrahmens neu beleuchtet. Ziel ist es, innerhalb dieser Zeit möglichst viele Aufträge zu erfüllen.

In einer kürzlich veröffentlichten Arbeit auf arXiv wird ein neues, einheitliches Konzept für die gezielte Erkundung von Zustands-Aktions-Paaren in belohnungsfreien Markov-Entscheidungsproblemen (MDPs) vorgestellt. Die Autoren betonen, dass unterschiedliche Paare verschieden wichtige oder schwierige Eigenschaften besitzen, die in einer kontrollierten Erkundungsstrategie aktiv berücksichtigt werden müssen.

Eine neue Analyse auf arXiv untersucht, unter welchen Bedingungen ein rationales, selbstinteressiertes AGI-System lieber Macht übernimmt oder die menschliche Kontrolle abschaltet, anstatt kooperativ zu bleiben. Die Autoren modellieren das Problem als Markov‑Entscheidungsprozess, in dem ein zufälliges Shutdown‑Ereignis durch den Menschen ausgelöst werden kann.

Die Ausführung moderner Large Language Models (LLMs) ist bislang teuer und langsam. Eine vielversprechende Lösung ist das sogenannte speculative sampling, bei dem ein „Draft“-Modell Kandidatentoken erzeugt. Allerdings ist die Anzahl der Aufrufe dieses Draft‑Modells ein festgelegter Hyperparameter, der wenig Flexibilität bietet.

Ein neues KI-Framework namens A-LAMP (Agentic LLM-Based Framework for Automated MDP Modeling and Policy Generation) hat die Automatisierung von Reinforcement-Learning-Prozessen revolutioniert. Es übersetzt frei formulierte Aufgabenbeschreibungen in formale Markov-Entscheidungsprozesse (MDPs) und erzeugt gleichzeitig trainierbare Policy-Agenten.

Diffusions‑Sprachmodelle (dLLMs) haben in den letzten Monaten die Leistung ihrer autoregressiven Gegenstücke auf vielen Aufgaben erreicht und gleichzeitig das Potenzial, bei der Inferenz effizienter zu sein. Besonders vielversprechend ist die Variante „masked discrete diffusion“, bei der ein Puffer aus Masken‑Tokens schrittweise durch Tokens aus dem Vokabular ersetzt wird.

Ein neues Verfahren nutzt Reinforcement Learning (RL), um die Genauigkeit von „decoding‑based regression“ zu erhöhen – ein Ansatz, bei dem große Sprachmodelle numerische Vorhersagen als Sequenz erzeugen. Traditionell werden dabei token‑basierte Ziele wie Kreuzentropie verwendet, die jedoch nicht mit den kontinuierlichen Zielwerten übereinstimmen und die Präzision einschränken.

Ein neues arXiv‑Veröffentlichung beleuchtet, warum zielorientiertes Reinforcement Learning (RL) so erfolgreich ist. Der Fokus liegt darauf, Agenten zu trainieren, die die Wahrscheinlichkeit maximieren, bestimmte Zielzustände zu erreichen. Durch die Analyse im Rahmen der optimalen Kontrolle wird ein optimaler Abstand zwischen klassischen, oft quadratischen, Zielsetzungen und dem zielorientierten Belohnungsmechanismus aufgezeigt. Diese Erkenntnis erklärt, warum dichte, klassische Belohnungen in vielen Fällen versagen.

In der hierarchischen Verstärkungslern-Forschung (HRL) geht es darum, große Markov-Entscheidungsprozesse (MDPs) effizienter zu lösen, indem man sie in kleinere Teilaufgaben zerlegt und deren Lösungen kombiniert. Bisherige Ansätze zur MDP‑Abstraktion haben jedoch oft begrenzte Ausdruckskraft oder fehlende formale Effizienzgarantien.

Die Integration von Elektrobusse (EB) in erneuerbare Energiequellen wie Photovoltaik (PV) bietet eine vielversprechende Lösung für umweltfreundliche und emissionsarme öffentliche Verkehrssysteme. Doch die Planung von Ladezeiten, die sowohl Kosten senken als auch die Sicherheit der Batterien gewährleisten soll, ist besonders komplex, wenn Unsicherheiten bei PV-Erzeugung, Strompreisen, Fahrzeiten und Ladeinfrastruktur berücksichtigt werden.

In einer kürzlich veröffentlichten Arbeit auf arXiv wird das NVMDP‑Framework vorgestellt, das klassische Markov‑Entscheidungsprozesse (MDPs) auf nicht‑stationäre Umgebungen erweitert und die Diskontierungsrate flexibel mit Zeit und Übergängen variieren lässt. Dadurch werden sowohl unendliche‑horizontale, stationäre MDPs als auch endliche‑horizontale Modelle als Spezialfälle abgedeckt, ohne die Zustands‑, Aktions‑ oder Belohnungsstruktur zu verändern.

In einer aktuellen Veröffentlichung auf arXiv wird gezeigt, wie Deep‑Reinforcement‑Learning die klassische Problemstellung der optimalen Vermögensallokation zwischen riskanten und risikofreien Anlagen neu definiert. Durch die Formulierung des Problems als Markov Decision Process (MDP) können Agenten dynamische Strategien entwickeln, die nicht von starren Verteilungsannahmen abhängig sind.

In der Welt der maschinellen Lernverfahren ist die aktive Feature‑Acquisition (AFA) ein dynamisches Verfahren, bei dem ein Modell während der Vorhersage entscheidet, welche zusätzlichen Merkmale es kostenpflichtig erlangen soll. Traditionell werden dafür entweder komplexe Reinforcement‑Learning‑Agenten eingesetzt, die mit schwierigen Markov‑Entscheidungsprozessen umgehen müssen, oder einfache, gierige Strategien, die die gemeinsame Informationskraft mehrerer Merkmale nicht berücksichtigen und oft Annahmen über die zugrunde liegende Datenverteilung voraussetzen.

Ein neues Verfahren aus dem Bereich der künstlichen Intelligenz kombiniert die generative Kraft von Diffusionsmodellen mit neuro-symbolischem Lernen. Ziel ist es, neuronale Netzwerke beizubringen, komplexe logische Regeln zu verstehen und konsequent anzuwenden.