Suche nach Multimodale Modelle

Einheitliche multimodale Modelle: Mehr Leistung, aber höhere Sicherheitsrisiken

Unified Multimodal Large Models (UMLMs) kombinieren Verständnis- und Generierungsfunktionen in einer einzigen Architektur. Diese Vereinheit…

arXiv – cs.AI 02.04.2026 04:00

Forschung

Simula: KI-gestützte, erklärbare Synthese neuer Daten ohne Vorlagen

In der KI-Welt sind multimodale Modelle gefragt, doch die dafür nötigen Daten sind oft knapp oder nicht zugänglich. Traditionelle Ansätze…

arXiv – cs.AI 01.04.2026 04:00

Forschung

LVLMs meistern Altersbestimmung: Zero-Shot Benchmark zeigt beeindruckende Ergebnisse

Ein neues Benchmarking-Studium demonstriert, dass große Vision‑Language‑Modelle (LVLMs) in der Lage sind, das Alter von Personen anhand von…

arXiv – cs.AI 30.03.2026 04:00

Forschung

DPO kann multimodale Modelle nicht gleichzeitig verstehen und generieren

In einer ersten systematischen Untersuchung wurde geprüft, ob das Verfahren der Direct Preference Optimization (DPO) gleichzeitig die Verst…

arXiv – cs.LG 19.03.2026 04:00

Forschung

Meta‑TTRL: Metakognitives Framework für selbstverbesserndes Testzeit‑Reinforcement in multimodalen Modellen

Ein neues Forschungsprojekt namens Meta‑TTRL präsentiert ein metakognitives Testzeit‑Reinforcement‑Learning‑Framework, das die Leistungsfäh…

arXiv – cs.LG 18.03.2026 04:00

Forschung

Neue Datenaugmentation löst Modality-Gap bei kontextbasierten Prognosen

Die neueste Forschung im Bereich der kontextbasierten Prognose (CAF) zeigt, dass multimodale Modelle bislang nicht die erwartete Leistungss…

arXiv – cs.LG 16.03.2026 04:00

Forschung

Neues Bewertungsframework prüft multimodale Modelle auf ECG-Logik

Ein neues arXiv-Papier (2603.00312v1) präsentiert einen innovativen Ansatz zur Bewertung der Denkprozesse multimodaler Sprachmodelle bei de…

arXiv – cs.AI 03.03.2026 05:00

Forschung

Curriculum Learning spart bei BERT 33 % Trainingszeit – Modelle profitieren nicht

Ein neues arXiv‑Paper zeigt, dass ein progressives Daten‑Scheduling – ein Curriculum‑Learning‑Ansatz – die Trainingszeit von BERT um rund 3…

arXiv – cs.AI 26.02.2026 05:00

Forschung

AngelSlim: Kompakteres, umfassenderes und effizienteres Toolkit für große Modelle

Das neue Toolkit AngelSlim, entwickelt vom Tencent Hunyuan Team, bietet eine umfassende Lösung zur Kompression großer KI‑Modelle. Durch die…

arXiv – cs.AI 26.02.2026 05:00

Forschung

PyVision‑RL: Open‑Weight‑Agenten mit stabiler Interaktion dank RL

PyVision‑RL ist ein neues Reinforcement‑Learning‑Framework, das speziell für offene, multimodale Modelle entwickelt wurde. Es verhindert da…

arXiv – cs.AI 25.02.2026 05:00

Forschung

IRPAPERS: Benchmark für visuelle Dokumentensuche und Fragenbeantwortung Die neue Studie IRPAPERS liefert einen umfassenden Teststand für die Verarbeitung von wissenschaftlichen Dokumenten in Bildform. Im Gegensatz zu herkömmlichen Ansätzen, die auf OCR-Transkriptionen angewiesen sind, untersucht die Arbeit, wie moderne multimodale Modelle direkt aus Bilddaten zurückgreifen können. Der Datensatz umfasst 3.230 Seiten aus 166 wissenschaftlichen Arbeiten. Für jede Seite stehen sowohl das Origin

arXiv – cs.AI 23.02.2026 05:00

Forschung

Adaptive Modality-Steering für multimodale LLMs dank funktioneller Entropie

Multimodale Large Language Models (MLLMs) zeigen häufig eine starke Präferenz für eine bestimmte Modalität – sei es Sprache oder Bild – was…

arXiv – cs.LG 16.02.2026 05:00

Forschung

Neues Verfahren: Vektoren‑zu‑Graphen‑Umwandlung verbessert Schemata-Überprüfung

Ein innovatives Verfahren aus der Forschungsliteratur verspricht, die Schwächen moderner multimodaler Sprachmodelle bei der Analyse von tec…

arXiv – cs.AI 13.02.2026 05:00

Forschung

Neues Framework SDE nutzt Spektrale Entwirrung für robustere multimodale Modelle

In der Welt des multimodalen kontrastiven Lernens hat sich ein neues Konzept namens Spectral Disentanglement and Enhancement (SDE) als viel…

arXiv – cs.AI 11.02.2026 05:00

Forschung

Recursive Transformers: Durch Schleifen effizientere multimodale Modelle

In einer neuen Studie wird gezeigt, wie große multimodale Modelle (LMMs) durch geschicktes Wiederverwenden ihrer Parameter noch leistungsfä…

arXiv – cs.AI 11.02.2026 05:00

Forschung

Geo-Coder: Framework für Rückwärtsgenerierung von Code aus geometrischen Bildern

Der neue Geo-Coder-Ansatz verbindet Programmcode mit Bildvision und eröffnet damit einen vielversprechenden Weg, um große multimodale Model…

arXiv – cs.AI 10.02.2026 05:00

Praxis

Google präsentiert Agentic Vision in Gemini 3 Flash – Bildverständnis wird aktiv

Google hat die neue Agentic Vision-Funktion in Gemini 3 Flash vorgestellt, die das Bildverständnis revolutioniert. Traditionelle multimodal…

MarkTechPost 04.02.2026 20:16

Forschung

Effiziente LLM- und MLLM-Inferenz auf Apple Silicon mit vllm-mlx

Mit der rasanten Verbreitung von Apple Silicon im Bereich des maschinellen Lernens wächst der Bedarf an leistungsstarken Inferenzlösungen…

arXiv – cs.LG 28.01.2026 05:00

Forschung

Visuelle Generierung stärkt menschlich Denken in multimodalen Modellen

In einer neuen Studie von arXiv:2601.19834v1 wird gezeigt, wie visuelle Inhalte die Art und Weise verbessern, wie KI‑Systeme über die reale…

arXiv – cs.AI 28.01.2026 05:00

Forschung

FedUMM: Federated Learning multimodale Modelle geringem Kommunikationsaufwand

Unified multimodale Modelle (UMMs) gelten als leistungsstarke Basismodelle, die sowohl generative als auch Verständnisaufgaben in einer ein…

arXiv – cs.LG 23.01.2026 05:00

Forschung

METAL: Mit wenigen linearen Schichten Sprachen in multimodale Modelle einbinden

Multimodale KI‑Modelle zeigen bisher vor allem im Englischen beeindruckende Ergebnisse, weil dort reichlich Bild‑Text‑ und Audio‑Text‑Daten…

arXiv – cs.LG 16.01.2026 05:00

Forschung

QMAVIS: Revolutionäres Long-Video‑Audio‑Verständnis durch multimodale Fusion

In der Forschung zu Video‑Audio‑Verständnis wurden bisher große multimodale Modelle (LMMs) nur auf kurze Clips von wenigen Minuten getestet…

arXiv – cs.AI 13.01.2026 05:00

Forschung

UmniBench: Alles‑in‑einem Benchmark für multimodale Modelle

Mit UmniBench wird ein neues, umfassendes Testverfahren für einheitliche multimodale Modelle (UMMs) vorgestellt. Bisher wurden Verständnis‑…

arXiv – cs.AI 22.12.2025 05:00

Forschung

Große multimodale Modelle schlagen sich bei visueller Artenidentifikation nicht durch

Die visuelle Artenidentifikation (VSR) ist ein zentrales Werkzeug für Biodiversitäts‑, Evolutions‑ und Ökosystemforschung. Traditionell erf…

arXiv – cs.LG 19.12.2025 05:00

Forschung

D3G erhöht Zero-Shot Bildklassifikation durch vielfältige demografische Daten

Die Bildklassifikation bleibt ein zentrales Ziel der maschinellen Wahrnehmung, obwohl multimodale Modelle wie CLIP bereits große Fortschrit…

arXiv – cs.LG 19.12.2025 05:00

Praxis

Thinking Machines Lab: Tinker jetzt allgemein verfügbar – Kimi K2 & Qwen3-VL Vision

Thinking Machines Lab hat die Tinker-Trainings-API in die allgemeine Verfügbarkeit überführt und gleichzeitig drei bedeutende Funktionen er…

MarkTechPost 17.12.2025 04:36

Forschung

Insight Miner: Neues multimodales Modell liefert präzise Zeitreihenbeschreibungen

In vielen wissenschaftlichen und industriellen Bereichen – von Umweltanalysen über Landwirtschaft bis hin zu Transport und Finanzen – sind…

arXiv – cs.LG 15.12.2025 05:00

Forschung

Monkey VLM: Bildteilung nachweisen – lokale Details & globaler Kontext im Fokus

Wissenschaftliche Fortschritte bauen auf Reproduzierbarkeit. Doch bei komplexen multimodalen Modellen fehlen oft transparente Implementieru…

arXiv – cs.AI 15.12.2025 05:00

Forschung

Neues Tool prognostiziert GPU-Speicherbedarf multimodaler Modelle

Ein kürzlich veröffentlichtes arXiv‑Paper (2512.07853v1) stellt ein innovatives Verfahren vor, das den Spitzen-GPU‑Speicherverbrauch von mu…

arXiv – cs.LG 10.12.2025 05:00

Forschung

Textbasierte Angriffe auf multimodale Modelle: Neue Studie zeigt Wirkung

Eine neue Untersuchung von Forschern auf arXiv (Arbeitstitel: „Lost in Modality“) beleuchtet, wie effektiv textbasierte Membership‑Inferenc…

arXiv – cs.AI 04.12.2025 05:00

Finde Modelle, Firmen und Themen

Einheitliche multimodale Modelle: Mehr Leistung, aber höhere Sicherheitsrisiken

Simula: KI-gestützte, erklärbare Synthese neuer Daten ohne Vorlagen

LVLMs meistern Altersbestimmung: Zero-Shot Benchmark zeigt beeindruckende Ergebnisse

DPO kann multimodale Modelle nicht gleichzeitig verstehen und generieren

Meta‑TTRL: Metakognitives Framework für selbstverbesserndes Testzeit‑Reinforcement in multimodalen Modellen

Neue Datenaugmentation löst Modality-Gap bei kontextbasierten Prognosen

Neues Bewertungsframework prüft multimodale Modelle auf ECG-Logik

Curriculum Learning spart bei BERT 33 % Trainingszeit – Modelle profitieren nicht

AngelSlim: Kompakteres, umfassenderes und effizienteres Toolkit für große Modelle

PyVision‑RL: Open‑Weight‑Agenten mit stabiler Interaktion dank RL

Adaptive Modality-Steering für multimodale LLMs dank funktioneller Entropie

Neues Verfahren: Vektoren‑zu‑Graphen‑Umwandlung verbessert Schemata-Überprüfung

Neues Framework SDE nutzt Spektrale Entwirrung für robustere multimodale Modelle

Recursive Transformers: Durch Schleifen effizientere multimodale Modelle

Geo-Coder: Framework für Rückwärtsgenerierung von Code aus geometrischen Bildern

Google präsentiert Agentic Vision in Gemini 3 Flash – Bildverständnis wird aktiv

Effiziente LLM- und MLLM-Inferenz auf Apple Silicon mit vllm-mlx

Visuelle Generierung stärkt menschlich Denken in multimodalen Modellen

FedUMM: Federated Learning multimodale Modelle geringem Kommunikationsaufwand

METAL: Mit wenigen linearen Schichten Sprachen in multimodale Modelle einbinden

QMAVIS: Revolutionäres Long-Video‑Audio‑Verständnis durch multimodale Fusion

UmniBench: Alles‑in‑einem Benchmark für multimodale Modelle

Große multimodale Modelle schlagen sich bei visueller Artenidentifikation nicht durch

D3G erhöht Zero-Shot Bildklassifikation durch vielfältige demografische Daten

Thinking Machines Lab: Tinker jetzt allgemein verfügbar – Kimi K2 & Qwen3-VL Vision

Insight Miner: Neues multimodales Modell liefert präzise Zeitreihenbeschreibungen

Monkey VLM: Bildteilung nachweisen – lokale Details & globaler Kontext im Fokus

Neues Tool prognostiziert GPU-Speicherbedarf multimodaler Modelle

Textbasierte Angriffe auf multimodale Modelle: Neue Studie zeigt Wirkung

🍪 Cookie-Einstellungen

Curriculum Learning spart bei BERT 33 % Trainingszeit – Modelle profitieren nicht