Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Bottleneck”
Forschung

<h1>HDPL: Hybrid Dual-Path Linear Transformations steigern Transformer‑Effizienz</h1> <p>Ein neues Forschungsdokument präsentiert den Hybrid Dual-Path Linear (HDPL) Operator, der die klassische lineare Projektion in Transformer‑Modellen neu strukturiert. Durch die Aufteilung in einen sparsamen block‑diagonalen Teil für lokale Feature‑Verarbeitung und einen low‑rank VAE‑Bottleneck für globale Kontext‑Regularisierung wird die Effizienz deutlich erhöht.</p> <p>Der HDPL‑Ansatz ersetzt gezielt die Projektionen Q

arXiv – cs.LG
Forschung

<p>LLMs scheitern bei Mehrschritt-Logik: Positionseffekt als schwächstes Glied</p> <p>Neues Forschungsergebnis aus dem arXiv-Preprint <em>arXiv:2601.12499v1</em> zeigt, dass selbst hochskalierte Sprachmodelle bei mehrstufigen Fragen-Antwort-Aufgaben (Multi-Hop QA) stark unter einem Positionsbias leiden. Dieser Bias führt dazu, dass wichtige Beweisdaten an bestimmten Stellen im Text übersehen werden, was die Gesamtleistung der Modelle drastisch reduziert.</p> <p>Um die Ursache des Problems zu klären, haben d

arXiv – cs.AI