KI News: Kurz und klar.

Microsoft hat den Maia 200 vorgestellt, einen eigenen KI‑Accelerator, der speziell für die Inferenz in Azure‑Datencentern entwickelt wurde. Durch die Kombination von FP4/FP8‑Berechnungen, einer dichten On‑Chip‑Speicherhierarchie und einem Ethernet‑basierten Skalierungs‑Fabric soll die Kosten für die Token‑Generierung bei großen Sprachmodellen und anderen Rechenaufgaben deutlich gesenkt werden.

Die neue Methode EPAS (Effizientes Training mit progressivem Aktivierungs-Sharing) verbindet das progressive Training mit dem Phänomen redundanter QK‑ bzw. KV‑Aktivierungen in tiefen Transformer‑Schichten. Durch das schrittweise Ausdehnen eines Aktivierungs‑Sharing‑Bereichs während des Trainings werden Rechenaufwand und Durchsatz signifikant reduziert.

In den letzten Jahren haben Forscher neue Wege gefunden, die Leistungsfähigkeit großer Sprachmodelle (LLMs) zu steigern, ohne die Modellgröße zu erhöhen. Durch gezielte Skalierung beim Inferenzprozess lassen sich Rechenressourcen effizienter nutzen und gleichzeitig die Qualität der Antworten verbessern.

Pre‑trainierte Diffusionsmodelle haben sich als äußerst leistungsfähige generative Werkzeuge etabliert, doch ihre Ausgaben passen häufig nicht exakt zu den Merkmalen von benutzerspezifischen Ziel‑Datensätzen. Dieses Problem wird besonders deutlich bei Domain‑Adaptation‑Aufgaben, bei denen nur wenige Referenzbeispiele vorliegen und ein erneutes Training des Modells praktisch unmöglich ist.

In der heutigen KI-Welt ist die Energieeffizienz bei der Inferenz ein entscheidender Faktor, denn der laufende Betrieb kann den CO₂-Fußabdruck des Trainings übersteigen. Ein neues, bio‑inspiriertes Konzept verbindet die Energie­landschaften von Protein‑Faltung mit den Kosten­landschaften von Inferenzaufgaben und steuert die Ausführung über einen abklingenden, geschlossenen Schleifen­schwellenwert. Ein Aufruf wird nur dann angenommen, wenn das erwartete Nutzen‑zu‑Energie‑Verhältnis vorteilhaft ist – hohe Zuverlässigkeit bei geringem Energieaufwand und geringer Auslastung. Dadurch wird die Operation gezielt auf das erste akzeptable lokale Minimum ausgerichtet, anstatt teure globale Minima zu verfolgen.

Eine neue Veröffentlichung auf arXiv (2512.04949v1) präsentiert CARL, einen Reinforcement‑Learning‑Ansatz, der speziell für Agenten entwickelt wurde, die komplexe Aufgaben über mehrere Interaktionen mit ihrer Umgebung lösen. CARL adressiert ein zentrales Problem herkömmlicher Algorithmen: die Annahme, dass jede Aktion gleichwertig zur Zielerreichung beiträgt.

Ein einfacher, aber wirkungsvoller Trainingswechsel kann die Leistungsfähigkeit von Sprachmodellen drastisch steigern: Er ermöglicht frühzeitige Vorhersagen, beschleunigt die Inferenz und verbessert die logische Argumentation. Diese Erkenntnis zeigt, dass die bisherige Optimierungsstrategie nicht die richtigen Ziele verfolgte. Der Beitrag „Wir haben jahrelang das Falsche in LLMs optimiert“ wurde erstmals auf der Plattform Towards Data Science veröffentlicht.

Amazon hat die Performance des Bedrock Custom Model Import deutlich gesteigert. Durch neue Optimierungen in der PyTorch‑Kompilierung und CUDA‑Graphen sinkt die End‑zu‑End‑Latenz, die Zeit bis zum ersten Token verkürzt sich und der Durchsatz steigt.

Amazon SageMaker HyperPod hat seine Leistungsfähigkeit um die NVIDIA Multi-Instance GPU (MIG)-Technologie erweitert. Mit MIG können leistungsstarke GPUs in mehrere isolierte Instanzen aufgeteilt werden, sodass gleichzeitig verschiedene Aufgaben wie Inferenz, Forschung und interaktive Entwicklung betrieben werden können.

Ein neues Tutorial zeigt, wie man mit EDG und Neo4j ein leistungsstarkes Empfehlungssystem aufbaut.

Ein neues Verfahren namens MathSE verspricht, multimodale große Sprachmodelle (MLLMs) bei komplexen mathematischen Aufgaben deutlich zu stärken. Während aktuelle Modelle bereits beeindruckende Leistungen in Vision‑Language‑Fragen zeigen, stoßen sie bei tiefgreifenden Rechenaufgaben häufig an ihre Grenzen.

Wenn Sie das nächste Mal ChatGPT oder Perplexity nutzen, zählen Sie die Wörter, die Ihre Anfrage erfüllen. Jedes Wort entsteht durch einen Prozess namens Inferenz – das Herzstück der Einnahmequelle moderner KI‑Systeme. Durch die Analyse dieser Wörter lassen sich grundlegende finanzielle und wirtschaftliche Prinzipien anwenden.

Qualcomm, das Unternehmen, das weltweit Milliarden von Smartphones antreibt, hat einen mutigen Schritt gewagt: Es stellt nun eigene Chips für AI‑Data‑Centres vor. Damit tritt das Unternehmen in einen Markt ein, in dem Nvidia seit Jahren mit enormen Gewinnen glänzt und die Konkurrenz um Rechenleistung um die Wette läuft.

Bewertungen generativer Modelle anhand von Benchmark-Daten sind heute allgegenwärtig und prägen sowohl die öffentliche als auch die wissenschaftliche Erwartungshaltung an die Fähigkeiten von KI. Gleichzeitig wächst die Skepsis, ob die angezeigten Genauigkeiten tatsächlich die wahre Leistungsfähigkeit widerspiegeln.

NVIDIA hat mit Blackwell die nächste Generation von KI-Hardware vorgestellt, die als Kern einer komplett neuen Systemarchitektur dient. Diese Architektur ist darauf ausgelegt, KI-Fabriken zu unterstützen, die mithilfe der größten und komplexesten Modelle Intelligenz durch Inferenz erzeugen. Blackwell ermöglicht damit eine bislang unerreichte Skalierung von KI-Workloads und setzt neue Maßstäbe für die Effizienz und Leistungsfähigkeit von AI-Inferezen.

Nvidia hat im zweiten Quartal einen Umsatz von 46,7 Mrd. US Dollar erzielt und damit erneut die Stärke seiner Plattform unter Beweis gestellt. Trotz dieser beeindruckenden Zahlen wächst die Konkurrenz durch spezialisierte ASICs (Application‑Specific Integrated Circuits) in den wichtigsten Segmenten des Unternehmens.

Die automatisierte Analyse von Tabellen ist für Datenwissenschaftler ein zentrales Thema. In den letzten Jahren haben sich große Sprachmodelle (LLMs) als leistungsfähige Werkzeuge für tabellarische Schlussfolgerungen etabliert. Traditionell wurden LLMs entweder durch feine Anpassung an gelabelte Datensätze oder durch trainingsfreie Prompting‑Methoden mit Ketten‑der‑Denken (CoT) eingesetzt.

NVIDIA hat die neue Hybrid‑Architektur Jet‑Nemotron vorgestellt, die in den Modellen 2 Billionen und 4 Billionen Parametern bis zu 53,6‑fach höhere Durchsatzraten bei der Textgenerierung erzielt. Trotz der enormen Geschwindigkeitssteigerung bleibt die Genauigkeit gleich oder sogar besser als bei den führenden Full‑Attention‑Modellen.

In der rasanten Welt der künstlichen Intelligenz treiben große Sprachmodelle wie GPT‑4 und Llama alles an – von Chatbots bis zu Code‑Assistenten. Doch ein verstecktes Problem kann die Leistung stark beeinträchtigen: Die Inferenz, also das Erzeugen von Antworten, läuft oft bis zu fünfmal langsamer als nötig.

Der Artikel beschreibt die effizienteste Methode, das GPT-OSS 20B‑Modell lokal mit llama.cpp und den Open WebUI Python‑Servern auszuführen. Durch die Kombination von llama.cpp für die schnelle Inferenz und Open WebUI für die benutzerfreundliche Oberfläche können Anwender das Modell ohne Cloud‑Abhängigkeiten betreiben und gleichzeitig Speicher- und Rechenressourcen optimal nutzen.

In der kommenden Hot Chips 2024, die vom 24. bis 26. August an der Stanford University stattfindet, stehen KI‑Reasoning, Inferenz und Netzwerktechnologien im Mittelpunkt. Diese Themen sind für die Besucher des Konferenzzentrums von entscheidender Bedeutung, da sie die Grundlage für die nächste Generation von KI‑Fabriken bilden.

In den letzten Jahren hat die Verbreitung von KI-Anwendungen in allen Branchen stark zugenommen. Von KI‑Assistenten, die tiefgreifende Recherchen durchführen, bis hin zu selbstfahrenden Fahrzeugen, die in Sekundenbruchteilen Entscheidungen treffen – überall steht die Inferenz im Mittelpunkt.

Künstliche Intelligenz hat sich in den letzten Jahren rasant weiterentwickelt, insbesondere in der Art und Weise, wie Modelle in realen Systemen eingesetzt und betrieben werden. Das zentrale Element, das das Training von Modellen mit ihrer praktischen Anwendung verbindet, ist die Inferenz. Sie ermöglicht es, aus einem bereits trainierten Modell Vorhersagen zu treffen und damit konkrete Entscheidungen in Echtzeit zu treffen.