KI News: Kurz und klar.

In der Welt des maschinellen Lernens sind Parameter die Bausteine, die ein Modell nutzt, um aus Daten zu lernen. Sie bestehen meist aus Gewichten und Bias‑Werten, die während des Trainings angepasst werden, damit das Modell Muster erkennt und Vorhersagen trifft.

NVIDIA hat den Produktions-Checkpoint Nemotron‑Nano‑3‑30B‑A3B‑NVFP4 veröffentlicht, der ein 30‑Billionen‑Parameter‑Modell für logisches Denken in einem 4‑Bit‑NVFP4‑Format betreibt. Trotz der starken Quantisierung bleibt die Genauigkeit nahezu dem BF16‑Baseline‑Modell nahe.

Eine neue Studie aus dem Bereich der Kognitionswissenschaft und künstlichen Intelligenz hat gezeigt, dass Modelle, die auf unterschiedlichen Lernmodalitäten – Sprache, Vision und Handeln – trainiert werden, überraschend ähnliche interne Repräsentationen entwickeln. Traditionell wurde angenommen, dass sich Modelle, die auf verschiedene Datentypen spezialisiert haben, in ihrer Darstellung stark unterscheiden. Die vorliegende Arbeit widerspricht dieser Annahme und liefert Belege für eine bemerkenswerte Konvergenz.

Die Vorhersage von Verkehrsflüssen in Städten unter extremen Wetterbedingungen, wie starkem Regen, stellt eine große Herausforderung dar. Die seltenen Ereignisse und ihre komplexen Dynamiken machen es schwierig, genaue Modelle zu entwickeln.

In einer wegweisenden Veröffentlichung auf arXiv präsentiert ein Forschungsteam einen völlig neuen Ansatz zur Entwicklung von verteilten Protokollen, die in modernen Systemen unverzichtbar sind. Traditionell erfordert die Konstruktion solcher Protokolle Jahrzehnte menschlicher Expertise, doch die Autoren zeigen, wie ein lernender Algorithmus diese Herausforderung meistern kann.

In einer neuen Studie wurde untersucht, wie die Architektur eines Modells und die Länge des zeitlichen Kontextes die Leistung bei der Dekodierung natürlicher EEG-Daten beeinflussen. Das Team nutzte das HBN-Movie‑Watching‑Dataset und verglich fünf unterschiedliche Modelle – CNN, LSTM, einen stabilisierten Transformer namens EEGXF, sowie die S4- und S5-Architekturen – bei einer vierklassigen Klassifikationsaufgabe mit Segmentlängen von 8 bis 128 Sekunden.

Eine neue Untersuchung aus dem arXiv‑Repository hat die Art und Weise, wie wir Transformer‑Architekturen skalieren, grundlegend überdacht. Die Forscher haben Architektur‑abhängige Skalierungs­gesetze entwickelt, die zeigen, dass die optimale Tiefe und Breite eines Modells stark voneinander abhängen.

Die Dekodierung sprachlicher Inhalte aus Elektroenzephalographie (EEG) ist seit langem eine Herausforderung, weil das Gehirn über verteilte und nichtlineare Strukturen verfügt. Mit BrainStack wird ein neuer Ansatz vorgestellt, der diese Komplexität adressiert und die Grenzen der aktuellen Methoden verschiebt.

Google DeepMind erweitert sein biologisches Arsenal weit über die Protein‑Faltung hinaus. Nach dem Durchbruch von AlphaFold hat das Forschungsteam ein neues Tool vorgestellt: AlphaGenome.

Mixture-of-Experts (MoE)-Schichten haben sich als Schlüsseltechnologie etabliert, um moderne neuronale Netzwerke zu skalieren. Sie trennen die Gesamtzahl der trainierbaren Parameter von den tatsächlich aktivierten Parametern pro Token und ermöglichen so eine enorme Effizienzsteigerung.

Transformer‑Modelle haben in den letzten Jahren dank ihrer in‑Context‑Learning‑Fähigkeiten enorme Fortschritte erzielt. In einer neuen Studie wird ein autoregressiver Transformer für das sogenannte In‑Context Reinforcement Learning (ICRL) eingesetzt. Dabei wird der Transformer zunächst mit einem Offline‑Datensatz trainiert, der Trajektorien aus verschiedenen RL‑Aufgaben enthält – und zwar aus suboptimalen Verhaltensstrategien.

Eine neue Studie auf arXiv beleuchtet, wie tiefgreifende Transformer‑Modelle – von 1,5 B bis 30 B Parametern – plötzlich ihre Fähigkeit zur mehrstufigen Logik entwickeln. Durch die Betrachtung der versteckten Zustands­trajektorien als Flüsse auf einem impliziten Riemannischen Mannigfaltigkeit konnten die Forscher die Struktur der Aktivierungen auf jeder Ebene mathematisch beschreiben.

In der rasch wachsenden Disziplin der Oculomics, die versucht, systemische Erkrankungen wie Herz-Kreislauf‑Störungen und Demenz allein durch Retinalbilder vorherzusagen, hat ein neues Verfahren namens Oculomix die Messlatte höher gelegt. Durch den Einsatz von transformer‑basierten Grundmodellen wie RETFound können bereits jetzt erstaunlich viel Daten sparen.

Eine neue, umfassende Übersicht hat 337 wissenschaftliche Arbeiten zusammengefasst, die die syntaktischen Kompetenzen von Transformer‑basierten Sprachmodellen untersuchen. Die Analyse umfasst 1 015 Ergebnisse aus unterschiedlichen Modellen und Methoden und beleuchtet ein breites Spektrum syntaktischer Phänomene.

Die neue Methode EPAS (Effizientes Training mit progressivem Aktivierungs-Sharing) verbindet das progressive Training mit dem Phänomen redundanter QK‑ bzw. KV‑Aktivierungen in tiefen Transformer‑Schichten. Durch das schrittweise Ausdehnen eines Aktivierungs‑Sharing‑Bereichs während des Trainings werden Rechenaufwand und Durchsatz signifikant reduziert.

Ein neuer Ansatz namens EVEREST verspricht, die Vorhersage seltener Ereignisse in multivariaten Zeitreihen zu revolutionieren. Durch die Kombination von Transformer‑Technologie mit evidenzbasierten Unsicherheitsabschätzungen liefert das Modell präzise, kalibrierte Prognosen und berücksichtigt gleichzeitig die extremen Ränder der Datenverteilung.

In einer kürzlich veröffentlichten Arbeit auf arXiv präsentiert ein Forschungsteam ein innovatives Modell namens HaKAN, das die Grenzen herkömmlicher Transformer- und MLP-Ansätze bei der Vorhersage von Zeitreihen sprengt. HaKAN nutzt Kolmogorov‑Arnold‑Netze (KANs) in Kombination mit Hahn‑Polynomen, um lernbare Aktivierungsfunktionen zu erzeugen, die sowohl leichtgewichtig als auch interpretierbar sind.

In der Welt der sequentiellen Empfehlungssysteme ist Geschwindigkeit entscheidend. Transformer‑basierte Modelle liefern zwar exzellente Ergebnisse, doch ihre Rechenkomplexität steigt mit der Sequenzlänge, was bei langen Nutzerhistorien zu erheblichen Latenzproblemen führt.