KI News: Kurz und klar.

Emotionserkennung ist ein entscheidender Baustein für sozial intelligente Agenten. Trotz der beeindruckenden Leistungen multimodaler Large Language Models (MLLMs) bleiben zwei zentrale Probleme bestehen: die Tendenz, Emotionen mit irrelevanten audiovisuellen Signalen zu verknüpfen, und die Erzeugung von Halluzinationen, die von textbasierten Vorannahmen des Modells getrieben werden.

In der neuesten Studie von MemCtrl wird gezeigt, wie Multimodale Large Language Models (MLLMs) als aktive Gedächtniskontrolle für eingebettete Agenten eingesetzt werden können. Traditionelle In‑Context‑Learning‑Ansätze stoßen an die Grenzen des begrenzten Kontextfensters, weshalb Systeme wie Retrieval‑Augmented Generation (RAG) häufig als große Offline‑Speicher betrachtet werden. Für Agenten, die in Echtzeit arbeiten und nur begrenzte Speicher‑ und Rechenressourcen besitzen, ist das jedoch nicht praktikabel.

Multimodale Large Language Models (MLLMs) haben in den letzten Jahren enorme Fortschritte bei der multimodalen Logik erzielt. Während frühere Ansätze vor allem reine Text‑Logik nutzten, integrieren neuere Studien multimodale Informationen in die einzelnen Schritte der Argumentation. Diese Verfahren folgen jedoch meist einem einheitlichen, auf einen spezifischen Aufgabenbereich zugeschnittenen Muster, was ihre Übertragbarkeit auf verschiedene multimodale Aufgaben einschränkt.

In realen Anwendungsszenarien können visuell angereicherte Antworten das Verständnis und die Erinnerung der Nutzer deutlich verbessern. Deshalb gewinnt die interleaved image‑text‑Generation – bei der Bild- und Textinhalte nahtlos kombiniert werden – zunehmend an Bedeutung.

Multimodale Large Language Models (MLLMs) zeigen beeindruckende Rechenfähigkeiten, doch sie lösen Aufgaben oft isoliert und wiederholen dabei dieselben Fehler. Traditionelle, speicherbasierte Agenten speichern lediglich vergangene Pfade, verlieren dabei jedoch wichtige Domänenkenntnisse und erfassen nur einseitige, ein‑Modality‑Spuren des Verhaltens.

Multimodale Large Language Models (MLLMs) haben beeindruckende Fähigkeiten entwickelt, aber sie können unbeabsichtigt sensible Informationen speichern. Bestehende Methoden zum „Unlearning“ entfernen diese Daten zwar, führen jedoch häufig zu einem Verlust der allgemeinen Bildverständnisleistung. Ein neuer Ansatz namens Sculpted Memory Forgetting Adapter (SMFA) löst dieses Problem, indem er das Vergessen gezielt auf bestimmte Speicherbereiche beschränkt und gleichzeitig die Kernkompetenzen des Modells schützt.

Ein neues Forschungsprojekt namens ORIGAMISPACE wurde auf arXiv veröffentlicht und richtet sich an die Bewertung multimodaler Large Language Models (MLLMs) in komplexen räumlichen Aufgaben. Das Ziel ist es, die Fähigkeit dieser Modelle zu prüfen, mehrstufige räumliche Probleme zu lösen und dabei präzise mathematische Einschränkungen zu berücksichtigen.

Die Opioid‑Krise hat die Schwächen von Regulierungs­systemen, Gesundheits­praxis, Unternehmensführung und Politik aufgedeckt. Um diese Zusammenhänge zu verstehen, braucht es innovative Analyse­methoden für die riesigen Datenmengen im UCSF‑JHU Opioid Industry Documents Archive (OIDA). Der neue Ansatz strukturiert die Dokumente nach Attributen und erstellt einen Benchmark mit 400 000 Trainings‑ und 10 000 Test‑Dokumenten.

Mit den jüngsten Fortschritten multimodaler Large Language Models hat die Automatisierung von grafischen Benutzeroberflächen (GUI) einen bedeutenden Sprung gemacht. Um jedoch die Lücke zwischen knappen Nutzeranweisungen und der Komplexität echter Abläufe zu schließen, ist es entscheidend, dass GUI-Agenten über verlässliche episodische Denkfähigkeiten verfügen.

Ein neuer Ansatz für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) verspricht, die Trainingsqualität multimodaler Large Language Models (MLLMs) deutlich zu verbessern – selbst wenn die verfügbaren Labels stark verrauscht sind. Traditionelle RLVR‑Methoden neigen dazu, sich an fehlerhafte Annotationen anzupassen und verlieren dabei wichtige Rangordnungsinformationen für die Group‑Relative Policy Optimization (GRPO).