Suche nach Aktivierungen

Delta-Crosscoder: Robustes Modell‑Diffing bei schmalen Feintuning‑Setups

In der KI‑Forschung ist es entscheidend, genau zu verstehen, welche Änderungen ein Feintuning an einem Modell bewirkt. Der neue Ansatz Delt…

arXiv – cs.LG 06.03.2026 05:00

Forschung

Dynamische Datenauswahl: Neue Definition von Repräsentativität und Vielfalt

In einer neuen Studie wird gezeigt, wie dynamische Datenauswahl das Training von Modellen beschleunigt, ohne die Genauigkeit zu beeinträcht…

arXiv – cs.AI 06.03.2026 05:00

Forschung

Mehrstufiges Training für Kolmogorov-Arnold-Netzwerke

Forscher haben eine neue Trainingsmethode für Kolmogorov‑Arnold‑Netzwerke (KANs) vorgestellt, die das Training deutlich beschleunigt und di…

arXiv – cs.LG 06.03.2026 05:00

Forschung

Neue Methode CHaRS verbessert Steuerung von LLMs durch heterogene Konzepte

In der neuesten Veröffentlichung auf arXiv (2603.02237v1) wird eine innovative Technik vorgestellt, die die Steuerung großer Sprachmodelle…

arXiv – cs.LG 04.03.2026 05:00

Forschung

DIG: Dynamische Interaktionsgraphen ermöglichen erklärbare Agenten‑Kollaboration

Die neue Arbeit auf arXiv (2603.00309v1) präsentiert DIG – einen dynamischen Interaktionsgraphen, der die Zusammenarbeit von generischen La…

arXiv – cs.AI 03.03.2026 05:00

Forschung

4‑Bit‑Attention mit Quantization‑Aware Training: Neue Methode Attn‑QAT

Die zuverlässige Umsetzung von 4‑Bit‑Attention ist ein entscheidender Schritt für die vollständige FP4‑Rechnung auf den neuesten FP4‑fähige…

arXiv – cs.LG 03.03.2026 05:00

Forschung

Quantum-Optimierung: exakte und asymptotisch vollständige Robustheitsprüfung neuronaler Netze

Neurale Netzwerke (DNNs) liefern beeindruckende Leistungen, sind jedoch anfällig für gezielte Störungen, die ihre Einsatzfähigkeit in siche…

arXiv – cs.LG 03.03.2026 05:00

Forschung

GRAIL: Post-hoc Linear-Reconstruction kompensiert Kompression von Deep Networks

GRAIL ist ein neuer Ansatz, der die Genauigkeitsverluste nach aggressiver Kompression von tiefen neuronalen Netzen adressiert. Der Ansatz n…

arXiv – cs.LG 02.03.2026 05:00

Forschung

Neue Spektrale Analyse von Sprachmodellen mit Random Matrix Theory

Eine neue Arbeit aus dem arXiv-Repository präsentiert einen einheitlichen Ansatz, um die beiden größten Herausforderungen moderner Deep‑Lea…

arXiv – cs.LG 27.02.2026 05:00

Forschung

QuantVLA: Post-Training Quantisierung für Vision‑Language‑Action‑Modelle

QuantVLA ist ein neu entwickeltes, trainingsfreies Post‑Training‑Quantisierungsframework, das speziell für Vision‑Language‑Action‑Modelle (…

arXiv – cs.LG 25.02.2026 05:00

Forschung

LLM‑Sicherheit: Aktivierungsentanglement erkennt versteckte Jailbreaks

Moderne Sprachmodelle bleiben anfällig für raffinierte Jailbreak‑Prompts, die flüssig und semantisch kohärent formuliert sind. Besonders pr…

arXiv – cs.AI 24.02.2026 05:00

Forschung

HELIX: Manifold‑Steering reduziert Halluzination bei quantisierten LLMs

In der Welt der quantisierten Sprachmodelle besteht ein klassisches Dilemma: Bei niedrigen Sampling‑Temperaturen entstehen wiederholende, m…

arXiv – cs.LG 23.02.2026 05:00

Forschung

LATMiX: Lernbare Affine-Transformationen für die Microskalierung von LLMs

Die Post‑Training‑Quantisierung (PTQ) bleibt ein zentraler Ansatz, um die Speicher‑ und Rechenkosten großer Sprachmodelle drastisch zu senk…

arXiv – cs.LG 23.02.2026 05:00

Forschung

Neue Studie zeigt Robustheit tiefer ReLU‑Netze gegen Fehlklassifikationen

Eine aktuelle Veröffentlichung auf arXiv beleuchtet die Widerstandsfähigkeit von tiefen neuronalen Netzen mit ReLU-Aktivierungen gegenüber…

arXiv – cs.LG 24.02.2026 05:00

Forschung

Steering‑Vektoren in Sprachmodellen: Warum ihre Zuverlässigkeit variiert

Steering‑Vektoren sind ein schlankes Verfahren, um das Verhalten von Sprachmodellen zu steuern, indem ein lernbarer Bias zu den Aktivierung…

arXiv – cs.AI 23.02.2026 05:00

Forschung

KI lernt zu täuschen: Studie zeigt, wie Ehrlichkeit in RLVR gefördert wird

Eine neue Arbeit auf arXiv beleuchtet, wie KI‑Modelle durch gezieltes Training mit White‑Box‑Täuschungsdetektoren ehrlicher werden können –…

arXiv – cs.LG 18.02.2026 05:00

Forschung

ExLipBaB: Lipschitz-Konstante für Stückweise lineare neuronale Netze berechnen

Die Lipschitz-Konstante eines neuronalen Netzwerks liefert wertvolle Einblicke in dessen Robustheit, Generalisierbarkeit und sogar die Mögl…

arXiv – cs.LG 18.02.2026 05:00

Forschung

Rationale Aktivierungen: Mehr Ausdruckskraft und Effizienz in neuronalen Netzen

Neuer Forschungsschwerpunkt: Neuronale Netze, die mit lernbaren, niedriggradigen rationalen Aktivierungsfunktionen arbeiten, zeigen deutlic…

arXiv – cs.AI 16.02.2026 05:00

Forschung

HyperMLP: Neue Perspektive für Sequenzmodellierung – MLP statt Attention

In einer wegweisenden Veröffentlichung auf arXiv präsentiert das Team hinter HyperMLP einen völlig neuen Blickwinkel auf die klassische Sel…

arXiv – cs.LG 16.02.2026 05:00

Forschung

LLM-Ausgabe-Länge präzise vorhersagen – neue Entropie-basierte Methode

Die Länge von Textsequenzen, die von großen Sprachmodellen (LLMs) erzeugt werden, folgt einer stark unausgeglichenen Verteilung. In der Pra…

arXiv – cs.AI 13.02.2026 05:00

Forschung

GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust

Die neueste Veröffentlichung auf arXiv (2602.11408v1) stellt GHOST vor – ein strukturiertes Pruning‑Framework, das die enorme Zustandsdimen…

arXiv – cs.AI 13.02.2026 05:00

Forschung

Neuronen speichern exponentiell viele Features – neues mathematisches Modell

Eine neue Studie aus dem Bereich der künstlichen Intelligenz liefert ein mathematisches Rahmenwerk, das die sogenannte lineare Repräsentati…

arXiv – cs.LG 13.02.2026 05:00

Forschung

Token‑basierte Analyse: Lernbasierte SAE‑Steuerung für Sprachmodelle In einer neuen Veröffentlichung auf arXiv wird ein innovatives Verfahren vorgestellt, das Sparse Autoencoder (SAE) nutzt, um die Aktivierungen von Sprachmodellen in interpretierbare Merkmale zu zerlegen. Während bisherige Ansätze lediglich zeigen, welche Merkmale aktiv werden, liefert die neue Methode an, welche Merkmale tatsächlich die Modellantworten verändern, wenn sie verstärkt werden. Das Verfahren, genannt Kontrollverstärkendes L

arXiv – cs.LG 12.02.2026 05:00

Forschung

Neuronale Bearbeitung ermöglicht präzise Werteausrichtung großer Sprachmodelle

Mit dem wachsenden Einfluss großer Sprachmodelle (LLMs) auf menschliches Verhalten gewinnt die Ausrichtung dieser Systeme an menschlichen W…

arXiv – cs.LG 10.02.2026 05:00

Forschung

Schnelleres LLM-Training dank 2:4‑Sparsität und Venom‑Activations

Die Trainingszeit großer Sprachmodelle wird häufig durch die vielen Matrixmultiplikationen im Transformer begrenzt. Besonders im Feed‑Forwa…

arXiv – cs.LG 09.02.2026 05:00

Forschung

SEIS: Subspace-basierte Scores für Equivariance & Invariance Repräsentationen

Neurale Netzwerke müssen nicht nur Eingaben korrekt klassifizieren, sondern auch deren räumliche Struktur bewahren. Ein neues Verfahren nam…

arXiv – cs.LG 05.02.2026 05:00

Forschung

Verbesserte Post-Training-Quantisierung dank zukünftiger Aktivierungsdaten

Die Kompression großer Sprachmodelle ohne Feinabstimmung ist ein zentrales Thema in der KI-Forschung. Post‑Training‑Quantisierung (PTQ) nut…

arXiv – cs.LG 04.02.2026 05:00

Forschung

RAPTOR: Neue Ridge-Logistikprobe verbessert Konzept-Analyse in LLMs

Wissenschaftler haben einen neuen Ansatz namens RAPTOR (Ridge-Adaptive Logistic Probe) vorgestellt, der die Analyse von Konzepten in großen…

arXiv – cs.LG 03.02.2026 05:00

Forschung

Transformer zeigen Phasenübergang: Objektpermanenz in Repräsentationsräumen

Eine neue Studie auf arXiv beleuchtet, wie tiefgreifende Transformer‑Modelle – von 1,5 B bis 30 B Parametern – plötzlich ihre Fähigkeit zur…

arXiv – cs.LG 29.01.2026 05:00

Forschung

GAVEL: Regelbasierte Sicherheit durch Aktivierungsüberwachung

In der Forschung zu großen Sprachmodellen (LLMs) gewinnt die Überwachung von Aktivierungen zunehmend an Bedeutung, um schädliches Verhalten…

arXiv – cs.AI 28.01.2026 05:00

Finde Modelle, Firmen und Themen

Delta-Crosscoder: Robustes Modell‑Diffing bei schmalen Feintuning‑Setups

Dynamische Datenauswahl: Neue Definition von Repräsentativität und Vielfalt

Mehrstufiges Training für Kolmogorov-Arnold-Netzwerke

Neue Methode CHaRS verbessert Steuerung von LLMs durch heterogene Konzepte

DIG: Dynamische Interaktionsgraphen ermöglichen erklärbare Agenten‑Kollaboration

4‑Bit‑Attention mit Quantization‑Aware Training: Neue Methode Attn‑QAT

Quantum-Optimierung: exakte und asymptotisch vollständige Robustheitsprüfung neuronaler Netze

GRAIL: Post-hoc Linear-Reconstruction kompensiert Kompression von Deep Networks

Neue Spektrale Analyse von Sprachmodellen mit Random Matrix Theory

QuantVLA: Post-Training Quantisierung für Vision‑Language‑Action‑Modelle

LLM‑Sicherheit: Aktivierungsentanglement erkennt versteckte Jailbreaks

HELIX: Manifold‑Steering reduziert Halluzination bei quantisierten LLMs

LATMiX: Lernbare Affine-Transformationen für die Microskalierung von LLMs

Neue Studie zeigt Robustheit tiefer ReLU‑Netze gegen Fehlklassifikationen

Steering‑Vektoren in Sprachmodellen: Warum ihre Zuverlässigkeit variiert

KI lernt zu täuschen: Studie zeigt, wie Ehrlichkeit in RLVR gefördert wird

ExLipBaB: Lipschitz-Konstante für Stückweise lineare neuronale Netze berechnen

Rationale Aktivierungen: Mehr Ausdruckskraft und Effizienz in neuronalen Netzen

HyperMLP: Neue Perspektive für Sequenzmodellierung – MLP statt Attention

LLM-Ausgabe-Länge präzise vorhersagen – neue Entropie-basierte Methode

GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust

Neuronen speichern exponentiell viele Features – neues mathematisches Modell

Neuronale Bearbeitung ermöglicht präzise Werteausrichtung großer Sprachmodelle

Schnelleres LLM-Training dank 2:4‑Sparsität und Venom‑Activations

SEIS: Subspace-basierte Scores für Equivariance & Invariance Repräsentationen

Verbesserte Post-Training-Quantisierung dank zukünftiger Aktivierungsdaten

RAPTOR: Neue Ridge-Logistikprobe verbessert Konzept-Analyse in LLMs

Transformer zeigen Phasenübergang: Objektpermanenz in Repräsentationsräumen

GAVEL: Regelbasierte Sicherheit durch Aktivierungsüberwachung

🍪 Cookie-Einstellungen

GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust