Suche nach Auslastung | meineki.news

SUN: Effiziente gemeinsame Token‑Vorhersage für Multi‑LLM‑Serving

In der heutigen Landschaft des Multi‑Model‑LLM‑Servings bleibt die Decodierung häufig ein Flaschenhals. Durch modellspezifische Ressourcen…

arXiv – cs.AI 04.03.2026 05:00

Forschung

NGDB-Zoo: Effizientes, skalierbares Training neuronaler Graphdatenbanken

Neurale Graphdatenbanken (NGDBs) ermöglichen komplexe logische Schlussfolgerungen über unvollständige Wissensstrukturen, stoßen jedoch bei…

arXiv – cs.LG 26.02.2026 05:00

Forschung

GrMoE: Neue Routing‑Methode für Mixture‑of‑Experts mit kontrollierter Sparsität

Mixture‑of‑Experts‑Modelle setzen auf Router, um Tokens an Experten zu verteilen. Die gängige Softmax‑Gating‑Methode bietet jedoch keine kl…

arXiv – cs.LG 23.02.2026 05:00

Aktuell

KI‑Vorhersagemodell steigert Effizienz im Gesundheitswesen

Hertfordshire University hat ein KI‑basiertes Vorhersagemodell entwickelt, das die Ressourceneffizienz im Gesundheitswesen deutlich verbess…

AI News (TechForge) 13.02.2026 16:07

Forschung

tLoRA: Effizientes Multi-LoRA-Training mit elastischen Shared Super-Modellen

In der Welt der großen Sprachmodelle (LLMs) hat sich die Low‑Rank‑Adaptation (LoRA) als Standardverfahren etabliert, um Modelle kostengünst…

arXiv – cs.LG 10.02.2026 05:00

Forschung

REASON: Beschleunigung probabilistischer Logik für skalierbare Neuro‑Symbolik

Neuro‑symbolische KI‑Systeme verbinden neuronale Wahrnehmung mit symbolischem Denken, um Daten‑effiziente, interpretierbare und robuste Int…

arXiv – cs.AI 29.01.2026 05:00

Forschung

LLEP: Schnellere, Speicherfreundlichere MoE-Modelle dank dynamischer Lastverteilung

In der Welt der großen Sprachmodelle, die auf Mixture-of-Experts (MoE) setzen, ist die effiziente Verteilung von Rechenaufgaben entscheiden…

arXiv – cs.LG 27.01.2026 05:00

Forschung

EMoE: Eigenbasis‑gesteuerte Routenführung für Mixture-of-Experts

Mit dem unaufhörlichen Wachstum von Deep‑Learning‑Modellen steigen die Rechenkosten exponentiell. Mixture‑of‑Experts‑Architekturen (MoE) ge…

arXiv – cs.LG 21.01.2026 05:00

Forschung

<p>ORBITFLOW: Adaptive KV-Cache-Optimierung steigert LLM-Performance um bis zu 3,3×</p> <p>Die Ausführung von Sprachmodellen mit langen Kontexten stellt die KI-Community vor ein großes Problem: Während die Token‑Generierung fortschreitet, schwankt der Speicherbedarf stark, sodass die GPU‑Speicherauslastung unvorhersehbar wird. Traditionelle Offloading‑Strategien, die KV‑Caches statisch in den Host‑Speicher verschieben, können diese Schwankungen nicht in Echtzeit ausgleichen. Das führt zu häufigen CPU‑zu‑GPU

arXiv – cs.AI 19.01.2026 05:00

Forschung

HERON-SFL: Hybrid-Optimierung für ressourcenschonend Split Federated Learning

Split Federated Learning (SFL) ermöglicht es ressourcenbeschränkten Edge‑Geräten, gemeinsam mit einem leistungsstarken Server Modelle zu tr…

arXiv – cs.LG 15.01.2026 05:00

Forschung

Neuer Transformer liefert präzisere Schiffszeiten für zukünftige Segmente

Genauere Vorhersagen der Segmente einer Schiffsreise sind entscheidend, um maritime Fahrpläne zuverlässiger zu gestalten und Hafenabläufe l…

arXiv – cs.LG 14.01.2026 05:00

Forschung

MaxCode: KI-Framework steigert Code-Optimierung um bis zu 20 %

MaxCode ist ein neues Reinforcement‑Learning‑Framework, das große Sprachmodelle (LLMs) dazu befähigt, Code automatisch zu optimieren. Durch…

arXiv – cs.LG 12.01.2026 05:00

Forschung

NVIDIA Triton und Bio‑Inspiration: Energieeffiziente MLOps in Echtzeit

In der heutigen KI-Welt ist die Energieeffizienz bei der Inferenz ein entscheidender Faktor, denn der laufende Betrieb kann den CO₂-Fußabdr…

arXiv – cs.LG 09.01.2026 05:00

Forschung

MQ‑GNN: Mehrspurige Pipeline‑Architektur beschleunigt GNN‑Training um 4,6×

Graph Neural Networks (GNNs) sind leistungsstarke Werkzeuge für die Analyse von Graphdaten, doch ihre Skalierbarkeit leidet unter ineffizie…

arXiv – cs.LG 09.01.2026 05:00

Produkt

LLM-Inference auf Amazon SageMaker AI mit BentoMLs LLM-Optimizer optimieren

Amazon SageMaker AI ermöglicht die schnelle Bereitstellung von großen Sprachmodellen, doch die optimale Konfiguration für Latenz, Durchsatz…

AWS – Machine Learning Blog 24.12.2025 17:17

Forschung

Neue Skalierungsformeln für Energieeffizienz lokaler LLMs

Die Veröffentlichung von arXiv:2512.16531v1 beleuchtet, wie lokale Sprach- und Vision‑Language‑Modelle auf Edge‑Geräten betrieben werden kö…

arXiv – cs.AI 19.12.2025 05:00

Forschung

cuPilot: Multi-Agent-Framework beschleunigt CUDA-Kernel-Optimierung um 3,09×

Die Optimierung von CUDA-Kernels bleibt ein komplexes und arbeitsintensives Unterfangen, das tiefgreifendes Wissen über Hardware‑Software‑C…

arXiv – cs.AI 19.12.2025 05:00

Praxis

Cluster-Launch-Steuerung mit TLX: Dynamische Planung neu definiert

Blackwell hat die Cluster-Launch-Steuerung (CLC) eingeführt, um die dynamische Planung von Rechenaufgaben auf GPUs zu optimieren. Durch CLC…

PyTorch – Blog 17.12.2025 22:02

Forschung

BOOST: Beschleunigtes Training für Low‑Rank‑Large‑Language‑Modelle

Die Skalierung von Transformer‑Modellen beim Pre‑Training wird zunehmend durch steigende Rechen- und Kommunikationskosten begrenzt. Low‑Ran…

arXiv – cs.LG 16.12.2025 05:00

Produkt

SageMaker HyperPod erweitert: Elastisches Training für effiziente Modellentwicklung

Amazon hat die Funktionalität von SageMaker HyperPod um elastisches Training erweitert. Damit können Machine‑Learning‑Workloads nun automat…

AWS – Machine Learning Blog 15.12.2025 18:12

Forschung

Dynamische Scheduler steigern GPU-Cluster-Auslastung auf 78 %

GPU‑Cluster sind heute unverzichtbar für das Training und die Bereitstellung moderner KI‑Systeme, doch in der Praxis bleibt die Auslastung…

arXiv – cs.AI 15.12.2025 05:00

Forschung

Dora: QoE‑bewusster Hybrid‑Parallelismus für verteiltes Edge‑AI

Mit der rasanten Verbreitung von Edge‑AI-Anwendungen wird die Qualität der Nutzererfahrung – insbesondere die Latenz bei Modellinferenz – z…

arXiv – cs.AI 15.12.2025 05:00

Forschung

MAR‑FL: Effizientes Peer‑to‑Peer‑Federated‑Learning mit O(N log N) Kommunikation

In einer Zeit, in der 5G, 6G und das Internet der Dinge immer stärker miteinander verknüpft sind, wird Federated Learning (FL) zu einem ent…

arXiv – cs.AI 08.12.2025 05:00

Forschung

UniQL: Quantisierung & Low‑Rank‑Kompression für Edge‑LLMs

Das Betreiben großer Sprachmodelle auf mobilen Geräten ist wegen begrenzter Speicher‑ und Rechenressourcen besonders schwierig. Die verfügb…

arXiv – cs.LG 04.12.2025 05:00

Forschung

SpeContext: Effiziente Langkontext-Analyse mit spekulativer Kontextdünnung

In einer wegweisenden Veröffentlichung präsentiert SpeContext ein neues Paradigma für die Verarbeitung langer Kontexte in großen Sprachmode…

arXiv – cs.AI 02.12.2025 05:00

Produkt

Verbesserte Leistung beim Import von Amazon Bedrock Custom Models

Amazon hat die Performance des Bedrock Custom Model Import deutlich gesteigert. Durch neue Optimierungen in der PyTorch‑Kompilierung und CU…

AWS – Machine Learning Blog 26.11.2025 16:46

Forschung

RFX: Random Forests mit GPU‑Beschleunigung und QLORA‑Kompression

Die neue Open‑Source‑Bibliothek RFX (Random Forests X) bringt die klassische Random‑Forest‑Methode von Breiman und Cutler in die moderne Py…

arXiv – cs.LG 26.11.2025 05:00

Forschung

SparOA: Hybrid-CPU-GPU beschleunigt Edge-DNN-Infereenzen um bis zu 50 %

Die steigenden Rechenanforderungen von Deep‑Neural‑Network‑Modellen stellen besonders auf ressourcenbeschränkten Edge‑Geräten ein erheblich…

arXiv – cs.AI 26.11.2025 05:00

Produkt

HyperPod unterstützt jetzt NVIDIA Multi-Instance GPU für maximale Auslastung

Amazon SageMaker HyperPod hat seine Leistungsfähigkeit um die NVIDIA Multi-Instance GPU (MIG)-Technologie erweitert. Mit MIG können leistun…

AWS – Machine Learning Blog 25.11.2025 16:10

Forschung

vLLM vs. HuggingFace TGI: Leistungsvergleich für LLM-Serving

In der rasanten Welt der Künstlichen Intelligenz ist die effiziente Bereitstellung von Large Language Models (LLMs) entscheidend. Ein neues…

arXiv – cs.LG 25.11.2025 05:00

Finde Modelle, Firmen und Themen

SUN: Effiziente gemeinsame Token‑Vorhersage für Multi‑LLM‑Serving

NGDB-Zoo: Effizientes, skalierbares Training neuronaler Graphdatenbanken

GrMoE: Neue Routing‑Methode für Mixture‑of‑Experts mit kontrollierter Sparsität

KI‑Vorhersagemodell steigert Effizienz im Gesundheitswesen

tLoRA: Effizientes Multi-LoRA-Training mit elastischen Shared Super-Modellen

REASON: Beschleunigung probabilistischer Logik für skalierbare Neuro‑Symbolik

LLEP: Schnellere, Speicherfreundlichere MoE-Modelle dank dynamischer Lastverteilung

EMoE: Eigenbasis‑gesteuerte Routenführung für Mixture-of-Experts

HERON-SFL: Hybrid-Optimierung für ressourcenschonend Split Federated Learning

Neuer Transformer liefert präzisere Schiffszeiten für zukünftige Segmente

MaxCode: KI-Framework steigert Code-Optimierung um bis zu 20 %

NVIDIA Triton und Bio‑Inspiration: Energieeffiziente MLOps in Echtzeit

MQ‑GNN: Mehrspurige Pipeline‑Architektur beschleunigt GNN‑Training um 4,6×

LLM-Inference auf Amazon SageMaker AI mit BentoMLs LLM-Optimizer optimieren

Neue Skalierungsformeln für Energieeffizienz lokaler LLMs

cuPilot: Multi-Agent-Framework beschleunigt CUDA-Kernel-Optimierung um 3,09×

Cluster-Launch-Steuerung mit TLX: Dynamische Planung neu definiert

BOOST: Beschleunigtes Training für Low‑Rank‑Large‑Language‑Modelle

SageMaker HyperPod erweitert: Elastisches Training für effiziente Modellentwicklung

Dynamische Scheduler steigern GPU-Cluster-Auslastung auf 78 %

Dora: QoE‑bewusster Hybrid‑Parallelismus für verteiltes Edge‑AI

MAR‑FL: Effizientes Peer‑to‑Peer‑Federated‑Learning mit O(N log N) Kommunikation

UniQL: Quantisierung & Low‑Rank‑Kompression für Edge‑LLMs

SpeContext: Effiziente Langkontext-Analyse mit spekulativer Kontextdünnung

Verbesserte Leistung beim Import von Amazon Bedrock Custom Models

RFX: Random Forests mit GPU‑Beschleunigung und QLORA‑Kompression

SparOA: Hybrid-CPU-GPU beschleunigt Edge-DNN-Infereenzen um bis zu 50 %

HyperPod unterstützt jetzt NVIDIA Multi-Instance GPU für maximale Auslastung

vLLM vs. HuggingFace TGI: Leistungsvergleich für LLM-Serving

🍪 Cookie-Einstellungen

MaxCode: KI-Framework steigert Code-Optimierung um bis zu 20 %

Dynamische Scheduler steigern GPU-Cluster-Auslastung auf 78 %

MAR‑FL: Effizientes Peer‑to‑Peer‑Federated‑Learning mit O(N log N) Kommunikation

SparOA: Hybrid-CPU-GPU beschleunigt Edge-DNN-Infereenzen um bis zu 50 %