Suche nach Durchsatzrate

SUN: Effiziente gemeinsame Token‑Vorhersage für Multi‑LLM‑Serving

In der heutigen Landschaft des Multi‑Model‑LLM‑Servings bleibt die Decodierung häufig ein Flaschenhals. Durch modellspezifische Ressourcen…

arXiv – cs.AI 04.03.2026 05:00

Forschung

OmniZip: schlanker, einheitlicher verlustfreier Kompressor für multimodale Daten

Die effiziente Speicherung und Übertragung von Daten ist in der heutigen datenintensiven Welt unverzichtbar. Während lernbasierte verlustfr…

arXiv – cs.LG 27.02.2026 05:00

Forschung

KI verändert Unternehmensgrenzen: Das neue „Headless Firm“ Modell

Die Grenzen eines Unternehmens werden traditionell durch die Kosten der Koordination bestimmt. In der aktuellen Forschung wird gezeigt, das…

arXiv – cs.AI 26.02.2026 05:00

Forschung

NGDB-Zoo: Effizientes, skalierbares Training neuronaler Graphdatenbanken

Neurale Graphdatenbanken (NGDBs) ermöglichen komplexe logische Schlussfolgerungen über unvollständige Wissensstrukturen, stoßen jedoch bei…

arXiv – cs.LG 26.02.2026 05:00

Produkt

vLLM: Dutzende feinabgestimmte Modelle effizient auf SageMaker AI & Bedrock bereitstellen

Amazon SageMaker AI und Bedrock nutzen vLLM, um gleichzeitig mehrere feinabgestimmte Modelle zu betreiben. In diesem Beitrag wird erklärt…

AWS – Machine Learning Blog 25.02.2026 20:56

Forschung

KI-Feedback optimiert städtische Verkehrssteuerung: Mehrere Ziele gleichzeitig

In der neuesten Forschung wird gezeigt, wie Reinforcement Learning (RL) mit KI‑Feedback die Steuerung von städtischem Verkehr verbessern ka…

arXiv – cs.AI 25.02.2026 05:00

Forschung

CHESS: Effiziente, kontextbewusste KV-Cache-Optimierung für LLMs

Ein neues arXiv-Papier (2602.20732v1) präsentiert CHESS, ein innovatives System zur Verwaltung des KV-Caches bei großen Sprachmodellen mit…

arXiv – cs.AI 25.02.2026 05:00

Forschung

Optimale Mehrdebris-Missionen in LEO: RL mit Co-Elliptischen Transfers & Betankung

In der aktiven Beseitigung von Weltraummüll in der niedrigen Erdumlaufbahn (LEO) stellt die Koordination mehrerer Ziele eine enorme logisti…

arXiv – cs.LG 23.02.2026 05:00

Forschung

NeuDiff Agent beschleunigt Kristallanalyse um 5‑fach bei Neutronenkrystallographie

Große Forschungsanlagen stehen zunehmend vor Verzögerungen bei der Analyse und Berichterstattung, besonders bei strukturell und magnetisch…

arXiv – cs.AI 20.02.2026 05:00

Forschung

Neuer Ansatz: Verzögerte Baumausdehnung beschleunigt spekulatives Decodieren

Ein neuer Beitrag auf arXiv präsentiert einen systematischen Vergleich von Verifikationsstrategien für Multi‑Path‑Speculative Decoding. Dab…

arXiv – cs.LG 20.02.2026 05:00

Forschung

MoE‑Spec: Expertenbudgetierung steigert Effizienz von spekulativem Decoding

Die neueste Veröffentlichung auf arXiv (2602.16052v1) präsentiert MoE‑Spec, eine innovative Methode zur Optimierung des spekulativen Decodi…

arXiv – cs.LG 19.02.2026 05:00

Praxis

Cloudflare präsentiert Agents SDK v0.5.0: Rust-Infire-Engine für Edge-Performance

Cloudflare hat das Agents SDK in der Version 0.5.0 veröffentlicht, um die Schwächen zustandsloser serverloser Funktionen in der KI-Entwickl…

MarkTechPost 17.02.2026 18:04

Aktuell

AIG erzielt schneller als erwartet Erfolge mit generativer KI

Bei seinem Investor Day hat die American International Group (AIG) bekanntgegeben, dass die Einführung generativer KI-Lösungen zu deutlich…

AI News (TechForge) 17.02.2026 14:13

Forschung

MELINOE: Durch Feintuning werden MoE-Modelle speichereffizienter

Die neue Methode MELINOE nutzt Feintuning, um Mixture-of-Experts (MoE)-Modelle deutlich speichereffizienter zu machen. MoE-Architekturen re…

arXiv – cs.LG 13.02.2026 05:00

Forschung

TaperNorm: Normenfrei in Transformers – stabile Trainings und schnellere Inferenz

Ein neues Verfahren namens TaperNorm ersetzt die herkömmliche Normalisierung in Transformer‑Modellen durch einen dynamischen, sample‑unabhä…

arXiv – cs.LG 12.02.2026 05:00

Forschung

tLoRA: Effizientes Multi-LoRA-Training mit elastischen Shared Super-Modellen

In der Welt der großen Sprachmodelle (LLMs) hat sich die Low‑Rank‑Adaptation (LoRA) als Standardverfahren etabliert, um Modelle kostengünst…

arXiv – cs.LG 10.02.2026 05:00

Forschung

SpecAttn: Schnellere LLM‑Inferenz mit sparsamer Attention und Selbst‑Spekulation

Die Inferenz von großen Sprachmodellen mit langen Kontexten ist heute Standard, doch sie wird stark durch die wachsenden Speicheranforderun…

arXiv – cs.LG 10.02.2026 05:00

Forschung

SOCKET: Soft Collision Kernel für sparsames Attention – Mehr Durchsatz

Die Skalierung großer Sprachmodelle hängt stark davon ab, wie effizient lange Kontexte verarbeitet werden können. Bei der autoregressiven D…

arXiv – cs.LG 09.02.2026 05:00

Forschung

SPA-Cache: Effiziente Caching-Strategie für Diffusions-Sprachmodelle

Diffusions-Sprachmodelle (DLMs) bieten eine flexible Alternative zum autoregressiven Ansatz, doch ihre nicht-kausale Struktur verhindert di…

arXiv – cs.LG 04.02.2026 05:00

Forschung

FastAPI vs. Triton: Benchmark für sichere, skalierbare KI-Infereenzen

In einer aktuellen Studie wurden zwei führende Ansätze zur Bereitstellung von KI-Modellen im Gesundheitswesen auf Kubernetes verglichen: di…

arXiv – cs.AI 03.02.2026 05:00

Forschung

SCPL: Training neuronaler Netze beschleunigt durch entkoppelte Verluste

Ein neues Verfahren namens Supervised Contrastive Parallel Learning (SCPL) verspricht, die Trainingsgeschwindigkeit großer neuronaler Netzw…

arXiv – cs.LG 03.02.2026 05:00

Forschung

Generative Engine überwindet Auflösungslimit mit Hardware-Algorithmus-KoDesign

Ein neues Konzept für generative Spiel-Engines hat die bisherige Auflösungsschwelle sprengen können. Während herkömmliche Grafikpipelines a…

arXiv – cs.AI 03.02.2026 05:00

Forschung

Drive-KD: Mehrfach-Teacher-Distillation für effiziente VLMs im autonomen Fahren

Autonomes Fahren steht im Fokus der neuesten KI-Forschung, weil es sowohl sicherheitskritisch als auch technologisch herausfordernd ist. Du…

arXiv – cs.AI 30.01.2026 05:00

Forschung

Neues FPGA-Design ermöglicht vollauslastete CNN-Inferenz mit hoher Durchsatzrate Ein neues Forschungsprojekt hat einen Durchbruch erzielt, der die Effizienz von CNN-Implementierungen auf FPGAs drastisch steigert. Traditionelle Datenfluss-Architekturen nutzen jede Neuronen-Operation als eigene Hardware-Einheit, was bei FPGAs zu sehr niedriger Latenz und hohem Durchsatz führt. Doch bei Convolutional Neural Networks (CNNs) führen Pooling- und Stride‑größere‑als‑eins‑Schichten zu einer starken

arXiv – cs.AI 29.01.2026 05:00

Forschung

Randomisierung verbessert KV-Caching: Lernbasierte Lastverteilung für LLMs

In einer neuen Studie aus dem arXiv-Preprint arXiv:2601.18999v1 wird gezeigt, wie Randomisierung die Effizienz von KV‑Caching für Large Lan…

arXiv – cs.LG 28.01.2026 05:00

Forschung

Elektronenmikroskop: Schnelle Aberrationskorrektur via Bayesian Optimierung

Die hochauflösende, aberrationskorrigierte Scanning Transmission Electron Microscopy (STEM) erfordert heute eine rasche Abstimmung der mult…

arXiv – cs.LG 28.01.2026 05:00

Forschung

EPAS steigert Training und Inference von Transformers um bis zu 29 %

Die neue Methode EPAS (Effizientes Training mit progressivem Aktivierungs-Sharing) verbindet das progressive Training mit dem Phänomen redu…

arXiv – cs.LG 28.01.2026 05:00

Forschung

Verantwortungslücke: Automatisierung schwächt Zuständigkeit in Agenten‑Systemen

In modernen CI/CD‑Pipelines, die von Agenten generierten Code integrieren, tritt ein strukturelles Problem auf: Entscheidungen werden zwar…

arXiv – cs.AI 22.01.2026 05:00

Forschung

Stealth-Attacke: LLM-Agenten kosten explodieren durch heimliche Tool-Ketten

Eine neue Studie aus dem arXiv-Repository hat gezeigt, dass moderne Large Language Model (LLM)-Agenten durch eine heimliche, mehrstufige An…

arXiv – cs.AI 19.01.2026 05:00

Forschung

Mugi: Wertorientierte Parallelisierung steigert Effizienz großer Sprachmodelle

Wertorientierte Parallelisierung (VLP) wurde entwickelt, um die Effizienz von großen, niedrigen Präzisions-Matrixmultiplikationen (GEMM) zw…

arXiv – cs.LG 19.01.2026 05:00

Finde Modelle, Firmen und Themen

SUN: Effiziente gemeinsame Token‑Vorhersage für Multi‑LLM‑Serving

OmniZip: schlanker, einheitlicher verlustfreier Kompressor für multimodale Daten

KI verändert Unternehmensgrenzen: Das neue „Headless Firm“ Modell

NGDB-Zoo: Effizientes, skalierbares Training neuronaler Graphdatenbanken

vLLM: Dutzende feinabgestimmte Modelle effizient auf SageMaker AI & Bedrock bereitstellen

KI-Feedback optimiert städtische Verkehrssteuerung: Mehrere Ziele gleichzeitig

CHESS: Effiziente, kontextbewusste KV-Cache-Optimierung für LLMs

Optimale Mehrdebris-Missionen in LEO: RL mit Co-Elliptischen Transfers & Betankung

NeuDiff Agent beschleunigt Kristallanalyse um 5‑fach bei Neutronenkrystallographie

Neuer Ansatz: Verzögerte Baumausdehnung beschleunigt spekulatives Decodieren

MoE‑Spec: Expertenbudgetierung steigert Effizienz von spekulativem Decoding

Cloudflare präsentiert Agents SDK v0.5.0: Rust-Infire-Engine für Edge-Performance

AIG erzielt schneller als erwartet Erfolge mit generativer KI

MELINOE: Durch Feintuning werden MoE-Modelle speichereffizienter

TaperNorm: Normenfrei in Transformers – stabile Trainings und schnellere Inferenz

tLoRA: Effizientes Multi-LoRA-Training mit elastischen Shared Super-Modellen

SpecAttn: Schnellere LLM‑Inferenz mit sparsamer Attention und Selbst‑Spekulation

SOCKET: Soft Collision Kernel für sparsames Attention – Mehr Durchsatz

SPA-Cache: Effiziente Caching-Strategie für Diffusions-Sprachmodelle

FastAPI vs. Triton: Benchmark für sichere, skalierbare KI-Infereenzen

SCPL: Training neuronaler Netze beschleunigt durch entkoppelte Verluste

Generative Engine überwindet Auflösungslimit mit Hardware-Algorithmus-KoDesign

Drive-KD: Mehrfach-Teacher-Distillation für effiziente VLMs im autonomen Fahren

Randomisierung verbessert KV-Caching: Lernbasierte Lastverteilung für LLMs

Elektronenmikroskop: Schnelle Aberrationskorrektur via Bayesian Optimierung

EPAS steigert Training und Inference von Transformers um bis zu 29 %

Verantwortungslücke: Automatisierung schwächt Zuständigkeit in Agenten‑Systemen

Stealth-Attacke: LLM-Agenten kosten explodieren durch heimliche Tool-Ketten

Mugi: Wertorientierte Parallelisierung steigert Effizienz großer Sprachmodelle

🍪 Cookie-Einstellungen

EPAS steigert Training und Inference von Transformers um bis zu 29 %