KI News: Kurz und klar.

In der neuesten Forschung zu Decoder‑Only‑Transformern wird gezeigt, dass die Art und Weise, wie Informationen durch das Modell fließen, entscheidend für die Leistung ist. Durch das causale Masking entstehen nicht nur direkte Aufmerksamkeitspfade zwischen Tokens, sondern auch indirekte Wege, die über Zwischentoken laufen – diese werden als „Runways“ bezeichnet.

In einer wegweisenden Kooperation haben Cisco und Splunk das Cisco Time Series Model veröffentlicht – das erste Open‑Weights‑Foundation‑Model, das auf einer Decoder‑Only‑Transformer‑Architektur basiert. Das Modell ist speziell für univariate Zeitreihen konzipiert und ermöglicht Zero‑Shot‑Vorhersagen von Observability‑ und Sicherheitsmetriken.

PrexSyn ist ein neues, hochleistungsfähiges Modell, das die Erkundung des synthetisch zugänglichen chemischen Raums neu definiert. Durch seine programmierbare Architektur ermöglicht es die gezielte Generierung von Molekülen, die nicht nur synthetisch realisierbar sind, sondern auch exakt die gewünschten Eigenschaften besitzen.

In einer wegweisenden Studie zeigen Forscher, dass Decoder‑Only‑Transformers unter real‑analytischen Annahmen die Abbildung von diskreten Prompt‑Sätzen auf die letzten Token‑Hidden‑States im Allgemeinen injektiv ist. Sie erweitern dieses Ergebnis, indem sie für jede Schicht einen Kollisionsdiskriminanten Δℓ und einen injektiven Stratum Uℓ definieren. Dabei gilt eine klare Dichotomie: Entweder ist das Modell auf dem gesamten Parameterraum niemals injektiv, oder Uℓ ist offen, dicht und jede Abbildung Fℓ ist injektiv.

Salesforce AI Research hat Moirai 2.0 vorgestellt, das neueste Zeitreihen‑Fundamentmodell der Branche. Das System basiert auf einer Decoder‑Only‑Transformer‑Architektur und hebt die Messlatte für Genauigkeit und Effizienz deutlich an.