KI News: Kurz und klar.

In der KI‑Interpretierbarkeit haben sich zwei Strömungen parallel entwickelt: Concept‑Bottleneck‑Modelle (CBMs) und Sparse Autoencoders (SAEs). Während CBMs mit menschlichen Labels arbeiten, um Konzepte zu definieren, entdecken SAEs Konzepte durch sparsames Codieren. Beide Ansätze folgen jedoch derselben geometrischen Idee.

Transformers haben sich dank ihrer herausragenden Leistung zu den führenden Modellen in vielen Bereichen entwickelt, doch ihr hoher Rechenaufwand erschwert die effiziente Hardware‑Implementierung. Sparsity bietet hier eine vielversprechende Lösung, wird aber von den meisten bestehenden Beschleunigern nur auf Zeilenebene genutzt. Inter‑Zeilen‑Sparsity wird selten eingesetzt, weil die dafür notwendigen globalen Ähnlichkeitsabschätzungen teuer sind und die Vorteile der Sparsity dadurch stark reduziert werden.

Model‑Pruning ist seit Jahren ein bewährtes Verfahren zur Kompression von neuronalen Netzen. Durch gezieltes Entfernen von Gewichten lassen sich Modelle deutlich kleiner machen, ohne die Genauigkeit wesentlich zu beeinträchtigen. Doch sobald die Sparsity einen kritischen Schwellenwert überschreitet, sinkt die Leistung plötzlich stark – ein Phänomen, das die maximale Kompression begrenzt und viele Hardware‑Plattformen vor ein Problem stellt.

Das Erkennen von Governing‑Equations aus Messdaten ist ein zentrales Ziel in Physik, Biologie und Ingenieurwissenschaften. Der bereits etablierte Sindy‑Algorithmus nutzt die Sparsity‑Eigenschaft, um kompakte Modelle nichtlinearer Dynamik zu extrahieren. In der vorliegenden Arbeit wird dieses Konzept auf Echtzeit‑Lernen ausgeweitet, indem ein klassisches Verfahren der Regelungstechnik – der Kalman‑Filter – integriert wird.

Die Entwicklung großer Sprachmodelle (LLMs) wurde lange Zeit durch ein grundlegendes Dilemma im Kernmechanismus der Aufmerksamkeitsberechnung gehemmt: die bemerkenswerte Ausdruckskraft der Multi‑Head‑Attention geht mit einer quadratischen Komplexität von O(H·N²) einher, die mit der Kontextlänge N und der Anzahl der Köpfe H wächst. Diese Standardimplementierung führt zu erheblicher Rechenredundanz, weil alle Köpfe unabhängig voneinander die gleiche Sequenz berechnen.

Die neue Methode Manhattan Distance Mapping (MDM) optimiert die Platzierung aktiver Memristoren in bit-sliced Compute‑in‑Memory (CIM) Crossbars. Durch die gezielte Umordnung der Zeilen nach Manhattan‑Entfernung werden aktive Zellen in Bereiche verlagert, die weniger von parasitischer Widerstand (PR) betroffen sind. Das Ergebnis ist ein deutlich reduzierter Nicht‑Idealitätsfaktor (NF) und eine höhere Genauigkeit bei analogen DNN‑Berechnungen.

Die neuesten Erkenntnisse aus der Studie „Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks“ zeigen, dass die Art und Weise, wie die Sparsity in Mixture-of-Experts (MoE)-Modellen gesteuert wird, entscheidend für die Leistungsfähigkeit bei Rechenaufgaben ist. Während die klassischen Skalierungsregeln für große Sprachmodelle (LLMs) die Entwicklung von immer größeren Modellen vorantreiben, vernachlässigen sie bislang die zusätzliche Sparsity‑Dimension, die MoE-Architekturen mitbringen.

Die Mixture‑of‑Experts‑Architektur (MoE) hat sich als Standard für die Skalierung großer Sprachmodelle etabliert, indem sie pro Token nur einen kleinen Teil der Parameter aktiviert. Trotz dieser Sparsity bleiben die Modelle jedoch enorm rechenintensiv und ihre Aktivierungsmuster unvorhersehbar.

Eine neue Architektur namens G2GNet, die sich an den sparsamen, modularen Verbindungen des Maus‑Visuallappens orientiert, hat die Genauigkeit bei Standard‑Vision‑Benchmarks um bis zu 4,3 % gesteigert – und das mit bis zu 75 % weniger Parametern als herkömmliche, vollständig verbundene Modelle.