meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Sparse Autoencoder”
Forschung

Token‑basierte Analyse: Lernbasierte SAE‑Steuerung für Sprachmodelle In einer neuen Veröffentlichung auf arXiv wird ein innovatives Verfahren vorgestellt, das Sparse Autoencoder (SAE) nutzt, um die Aktivierungen von Sprachmodellen in interpretierbare Merkmale zu zerlegen. Während bisherige Ansätze lediglich zeigen, welche Merkmale aktiv werden, liefert die neue Methode an, welche Merkmale tatsächlich die Modellantworten verändern, wenn sie verstärkt werden. Das Verfahren, genannt Kontrollverstärkendes L
arXiv – cs.LG
Forschung

<p>Multimodale Einbettungsräume mit gruppensparschen Autoencodern zerlegen</p> <p>Neuer Ansatz nutzt die Linear Representation Hypothesis, wonach neuronale Netzwerke Embeddings als lineare Kombinationen von hochrangigen Konzepten erzeugen. Sparse Autoencoders (SAEs) haben sich als effektives Werkzeug erwiesen, um diese Embeddings in wenige, leicht interpretierbare Richtungen zu zerlegen. Bei multimodalen Daten wie Bild/Text‑Embeddings von CLIP oder Audio/Text‑Embeddings von CLAP zeigte sich jedoch, dass kla
arXiv – cs.LG
Forschung

<p>PCA-Whitening verbessert Sparse Autoencoder: Mehr Interpretierbarkeit</p> <p>Neuer Forschungsbericht aus dem arXiv-Repository zeigt, dass die Anwendung von PCA‑Whitening auf die Eingabeaktivierungen Sparse Autoencoders (SAEs) deutlich leistungsfähiger macht. Durch die Entkoppelung der Eingabedaten wird das Optimierungsfeld flacher und konvexer, was die Lernschritte beschleunigt und die Konvergenz stabiler gestaltet. Die Autoren haben sowohl ReLU‑ als auch Top‑K‑SAEs in einer Vielzahl von Architekturen, B
arXiv – cs.LG
Forschung

<p>Sparse Autoencoders senken Polysemanticität in großen Sprachmodellen</p> <p>Ein neues arXiv‑Paper präsentiert die erste systematische Bewertung von Sparse Autoencoders (SAEs) hinsichtlich ihrer Fähigkeit, die Polysemanticität in großen Sprachmodellen zu reduzieren. Polysemanticität beschreibt das Phänomen, bei dem einzelne Neuronen für mehrere, nicht zusammenhängende Konzepte aktiv werden, was die Interpretierbarkeit der Modelle stark einschränkt.</p> <p>SAEs transformieren die dichten Aktivierungen von

arXiv – cs.LG