Google Research: Titans und MIRAS revolutionieren Langzeitkontext in Modellen
Anzeige
Google Research präsentiert Titans und MIRAS als neue Ansätze, um Sequenzmodellen eine nutzbare Langzeit‑Speicherfunktion zu verleihen, ohne die Parallelität beim Training zu verlieren und die Inferenz nahezu linear zu halten.
Die Architektur Titans ergänzt einen transformer‑ähnlichen Kern um ein tiefes neuronales Gedächtnis, wodurch Modelle längere Kontextsequenzen verarbeiten können.
MIRAS ist ein generisches Framework, das die Speicherung von Informationen neu definiert und damit die Art und Weise, wie Modelle Kontext behalten, grundlegend überdenkt.
Ähnliche Artikel
arXiv – cs.LG
•
DB2-TransF: Lernbare Daubechies-Wellen für effiziente Zeitreihenprognosen
arXiv – cs.LG
•
Neues GPG-Theorem: Optimierung von Transformer-Politiken für LLMs
arXiv – cs.AI
•
HAROOD: Benchmark für Out-of-Distribution-Generalisierung in sensorbasiertem HAR
arXiv – cs.AI
•
LUMOS: Transformer-Modell revolutioniert Vorhersage von Nutzerverhalten
arXiv – cs.LG
•
Transformers im Fokus: Wie Graph Neural Networks Fehlerquellen aufdecken
arXiv – cs.LG
•
LAPA: Neuer sparsamer Accelerator für Transformer mit Log‑Domain‑Vorhersage