KI News: Kurz und klar.

In der Welt der großen Sprachmodelle, die auf Mixture-of-Experts (MoE) setzen, ist die effiziente Verteilung von Rechenaufgaben entscheidend. Trotz sorgfältiger Vortrainingsverfahren zeigen viele MoE-Modelle eine stark unausgeglichene Expert-Routing‑Verteilung. Diese Ungleichheit kann zwar dazu beitragen, domänenspezifisches Wissen zu fokussieren, führt aber bei der parallelen Ausführung zu Engpässen: Einige Geräte werden überlastet, während andere unterausgelastet bleiben.

Ein neu entwickeltes Verfahren erzeugt dreidimensionale Molekülstrukturen, indem es Moleküle als Sammlungen starrer Motive statt einzelner Atome betrachtet. Diese Idee, die sich an Fortschritten in der proteinbasierten Strukturgenerierung orientiert, ermöglicht eine effizientere Modellierung komplexer chemischer Systeme.

Ein neu entwickelter Algorithmus für die Multiplikation spärlicher Matrizen hat die Grenzen der Medline‑Datenbank neu definiert. Durch die drastische Reduktion des Speicher- und Rechenaufwands kann ein Self‑Organizing Map (SOM) nun das gesamte Medline‑Set abbilden – ein Meilenstein, der bisher nur mit kleinen Teilmengen möglich war.

Cerebras hat gerade das neue MiniMax-M2-REAP-162B-A10B vorgestellt, ein kompakter, sparsamer Mixture-of-Experts (SMoE) Causal Language Model, das auf dem bereits leistungsstarken MiniMax-M2 basiert. Durch die Anwendung der innovativen Router weighted Expert Activation Pruning (REAP)-Methode werden unnötige Experten gezielt entfernt, ohne die Leistungsfähigkeit des Modells zu beeinträchtigen.

In einer Welt, in der Datenmengen exponentiell wachsen, bietet die effiziente Speicherung und Übertragung von komprimierten Dateien einen entscheidenden Vorteil. Doch ihr volles Potenzial für das Lernen von Repräsentationen bleibt bislang weitgehend unerforscht. Mit TEMPEST (TransformErs froM comPressed rEpreSenTations) wird dieses Potenzial endlich erschlossen.

Ein neues Verfahren namens Grouped Lattice Vector Quantization (GLVQ) verspricht, die Speicher- und Rechenanforderungen großer Sprachmodelle drastisch zu senken, ohne die Genauigkeit zu stark zu beeinträchtigen. Durch die Zuordnung von gewichtsspezifischen Lattice-Codebüchern zu Gruppen von Modellgewichten kann GLVQ die Quantisierung auf eine Weise optimieren, die herkömmliche, einheitliche Verfahren übertrifft.

Microsoft startet in den kommenden Monaten ein neues Feature, das die häufig auftretenden „Mailbox voll“-Fehler in Exchange Online drastisch reduzieren soll. Ab Oktober und November wird die automatische Archivierung von ältesten Nachrichten aktiviert, sobald ein Postfach einen festgelegten Speichergrenzwert erreicht.

Mit dem rasanten Wachstum von neuronalen Netzwerken steigen auch die Kosten für deren Training. Eine vielversprechende Methode, die Rechenlast zu senken, ist das sogenannte Layer‑Freezing. Dabei werden bestimmte Schichten während des Trainings eingefroren, sodass ihre Gewichte nicht mehr aktualisiert werden. Doch selbst eingefrorene Schichten müssen im Vorwärtsdurchlauf noch ausgeführt werden, um Feature‑Maps für die unfrozen Schichten zu erzeugen. Das begrenzt die Einsparungen erheblich.

Modulare Arithmetik ist ein mathematisches System, bei dem Zahlen nach Erreichen eines festgelegten Werts – dem Modulus – wieder bei Null beginnen. Dadurch entsteht ein zyklisches Verhalten, das sich leicht mit dem Ablauf einer analogen 12‑Stunden‑Uhr vergleichen lässt.