KI News: Kurz und klar.

Zhipu AI hat die GLM‑4.6V‑Serie als Open‑Source‑Vision‑Language‑Modelle veröffentlicht, die Bilder, Videos und Tools als gleichwertige Eingaben für Agenten behandeln – nicht als nachträgliche Ergänzung zu Text.

Multimodale KI‑Modelle, insbesondere Vision‑Language‑Modelle (VLMs), sind heute in vielen kritischen Anwendungen wie autonomer Entscheidungsfindung und automatisierter Dokumentenverarbeitung unverzichtbar. Durch die zunehmende Skalierung dieser Systeme kommt es immer häufiger auf effiziente Vorverarbeitungspipelines an, wobei Bild‑Downscaling eine zentrale Rolle spielt.

Ein neues Forschungsprojekt namens Omni-AutoThink wurde vorgestellt, das die Art und Weise, wie multimodale KI‑Modelle denken, revolutionieren soll. Durch die Kombination von adaptivem Supervised Fine‑Tuning und Reinforcement Learning kann das System seine Denkstärke dynamisch an die Komplexität einer Aufgabe anpassen.

Eine neue Studie aus dem Bereich der multimodalen künstlichen Intelligenz stellt einen bedeutenden Fortschritt vor: Das Benchmark-MMQAKE (Multimodal Multihop Question Answering with Knowledge Editing) bewertet nicht nur die Endantwort, sondern auch die Qualität der Zwischenschritte und die Robustheit gegenüber visuell umformulierten Fragen. Damit füllt es eine Lücke in der bisherigen Forschung, die sich bislang vor allem auf die Richtigkeit der finalen Antwort konzentrierte.

Eine neue Studie aus dem arXiv-Repository bietet einen umfassenden Überblick über Chunking-Strategien für multimodale KI-Systeme. Ziel ist es, Forschern und Praktikern eine solide technische Basis und einen klaren Designraum zu liefern, um effizientere und wirkungsvollere Systeme zu entwickeln.

Moderne Lernmodelle kombinieren häufig mehrere Datenströme, um Entscheidungen präziser zu treffen. In der multimodalen KI ist die Wahl der Fusionsstrategie entscheidend, denn sie beeinflusst sowohl die Genauigkeit als auch die Latenz. In einer aktuellen Studie wurde ein hybrides BERT‑Vision‑Framework eingesetzt, das Bild- und Textinformationen zusammenführt. Dabei wurden zwei unterschiedliche Bildnetzwerke – MobileNetV2 und ViT – verwendet.

In der Ära agentischer KI gewinnen multimodale Modelle (MMs) immer mehr an Bedeutung. Gleichzeitig eröffnen sie neue Angriffsvektoren, die sensible Trainingsdaten preisgeben können. Ein besonders besorgniserregender Angriff ist die Membership‑Inference‑Attack (MIA), bei der ein Angreifer versucht zu bestimmen, ob ein bestimmtes Beispiel im Trainingsdatensatz enthalten war.

In der multimodalen KI‑Forschung stellen unsichere Daten, fehlerhafte Labels und heterogene Modalitäten häufig ein großes Hindernis dar – besonders in der Mensch‑Computer‑Interaktion, wo die Qualität der Aufnahmen und die Konsistenz der Annotationen stark variieren.

In der Welt der multimodalen KI-Modelle stoßen bisherige Ansätze an ihre Grenzen: Sie können nicht selbstständig verschiedene Denkpfade erkunden, sei es durch direkte Inferenz, visuelle Tool‑Nutzung, programmatische Bildmanipulation oder reine visuelle Vorstellung. Dadurch fehlt ihnen die Flexibilität, sich dynamisch an wechselnde Anforderungen realer Aufgaben anzupassen.

Die Open‑Source‑Familie von Ernie, die seit einiger Zeit stillstand, kehrt mit einem neuen Modell zurück, das die Erwartungen übertreffen soll.

Baidu hat mit seinem neuesten Modell ERNIE‑4.5‑VL‑28B‑A3B‑Thinking einen Meilenstein gesetzt. Das hoch effiziente multimodale KI-System erzielt in führenden Benchmarks bessere Ergebnisse als GPT und Googles Gemini.

In diesem Beitrag werden vier zentrale Kollaborationsmuster für Multi-Agenten- und multimodale KI-Systeme vorgestellt: Agents as Tools, Swarms Agents, Agent Graphs und Agent Workflows. Diese Muster zeigen, wie Agenten gemeinsam Aufgaben lösen, Informationen austauschen und komplexe Prozesse orchestrieren können.

Wissenschaftler haben ein neues Verfahren entwickelt, das multimodale KI-Modelle gegen Unsicherheiten absichert. Durch die Anwendung von distributionally robust optimization (DRO) wird die Leistung von Modellen, die mehrere Datenmodalitäten kombinieren, systematisch verbessert.

FractalBench ist ein neues Benchmark, das die Fähigkeit multimodaler KI‑Modelle testet, aus Bildern komplexe mathematische Programme abzuleiten. Durch die Analyse von Fraktalen – selbstähnlichen Mustern, die mit wenigen rekursiven Regeln erzeugt werden – wird geprüft, ob Modelle die Brücke zwischen visueller Wahrnehmung und abstrakter Mathematik schlagen können.

Selbst die leistungsstärksten „Long‑Context“-KI‑Modelle scheitern, wenn sie Objekte und Zählungen über lange, chaotische Videostreams hinweg verfolgen müssen. Das ist ein echter Stolperstein für die nächste Generation von KI-Systemen.

Meituan’s LongCat-Team hat mit LongCat Flash Omni ein bahnbrechendes, quelloffenes Omni‑Modal‑Modell vorgestellt. Das System kombiniert 560 Billiarden Parameter – von denen pro Token etwa 27 Billiarden aktiv sind – und ermöglicht gleichzeitig das Verarbeiten von Text, Bild, Video und Audio.

Mit der neuen Technologie ColPali können KI‑Modelle nicht mehr nur Text, sondern auch Bilder und andere visuelle Inhalte in ihre Wissensdatenbanken aufnehmen. Durch die Kombination von Bild‑ und Textinformationen wird Retrieval‑Augmented Generation (RAG) deutlich leistungsfähiger, da die Modelle nun auf eine breitere Palette von Daten zugreifen können. Diese Erweiterung eröffnet neue Möglichkeiten, komplexe Fragen zu beantworten und Inhalte aus unterschiedlichen Medienquellen zu verknüpfen, wodurch der Nutzen von Wissensdatenbanken erheblich gesteigert wird.

Modulare Expertensysteme (Mixture-of-Experts, MoE) haben die multimodale KI revolutioniert, indem sie die Spezialisierung einzelner Modelle auf unterschiedliche Modalitäten ermöglichen. Doch sobald zusätzliche Modalitäten mehr Rauschen als Mehrwert bringen, kann die Gesamtleistung stark leiden.

Liquid AI hat heute die neue Modellfamilie LFM2‑VL vorgestellt, die speziell für den Einsatz auf Geräten mit niedriger Latenz entwickelt wurde. Die beiden Varianten, LFM2‑VL‑450M und LFM2‑VL‑1,6B, kombinieren eine kompakte Architektur mit hoher Leistungsfähigkeit und ermöglichen so die Nutzung multimodaler KI direkt auf Smartphones, Laptops, Wearables und eingebetteten Systemen.

Die Robustheit gegenüber Out‑of‑Distribution‑(OOD) Daten ist ein zentrales Problem moderner KI‑Systeme, besonders wenn sie in multimodalen Umgebungen arbeiten, die Video, Audio und Sensordaten kombinieren. Für jede Art von Verteilungsshift existieren zahlreiche OOD‑Detektoren, doch keiner von ihnen ist in allen Szenarien überlegen. Die Aufgabe, den besten Detektor automatisch zu wählen, ist schwierig, weil OOD‑Erkennung per Definition unüberwacht erfolgt und die Leistung von Modellen schwer vorherzusagen ist. Zudem ist ein systematisches Vergleichen neuer Daten oft teuer oder gar nicht praktikabel.

Im August 2025 hat das Qwen-Team von Alibaba ein neues Modell namens Qwen-Image-Edit vorgestellt, das die Bildbearbeitung in der multimodalen KI neu definiert.

Envision, ein Unternehmen für barrierefreie Technologie, hat die neue Ally Solos Smart‑Glasses vorgestellt. Die Brille nutzt multimodale KI, um die Umgebung zu beschreiben, Texte zu lesen und Personen zu erkennen.

Die jüngsten Durchbrüche bei generativen KI‑Modellen lassen viele glauben, dass die allgemeine künstliche Intelligenz (AGI) nur noch einen Schritt entfernt sei. Doch die meisten dieser Systeme arbeiten ausschließlich mit Text und vernachlässigen die körperlich verankerten Sinnesdaten, die für ein echtes Verständnis nötig sind. Experten betonen, dass die Fokussierung auf Sprache die implizite, körperlich verankerte Intelligenz ausblendet. Ohne diese multimodale Basis bleibt die KI auf symbolische Verarbeitung beschränkt und kann die volle Bandbreite menschlicher Kognition nicht abbilden. Kurz gesagt: AGI ist noch nicht multimodal, und die KI‑Forschung muss die Grenzen der einsprachigen Modelle erkennen. Einordnung: KI‑Entwicklung – AGI‑Status (Quelle: The Gradient)