Suche nach Sparsity | meineki.news

Delta-Crosscoder: Robustes Modell‑Diffing bei schmalen Feintuning‑Setups

In der KI‑Forschung ist es entscheidend, genau zu verstehen, welche Änderungen ein Feintuning an einem Modell bewirkt. Der neue Ansatz Delt…

arXiv – cs.LG 06.03.2026 05:00

Forschung

NeuroSleep: Energieeffizientes Schlaf-Tracking mit neuromorpher EEG-Analyse

NeuroSleep ist ein neuromorpher, ereignisbasiertem System, das kontinuierliches EEG‑Monitoring auf tragbaren Edge‑Geräten ermöglicht, ohne…

arXiv – cs.AI 19.02.2026 05:00

Forschung

SLA2: Dynamische Sparse-Linear Attention beschleunigt Video‑Diffusion um 18,6×

Die neueste Variante des Sparse‑Linear Attention (SLA) – SLA2 – verspricht eine deutliche Beschleunigung von Video‑Diffusionsmodellen, ohne…

arXiv – cs.LG 16.02.2026 05:00

Forschung

GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust

Die neueste Veröffentlichung auf arXiv (2602.11408v1) stellt GHOST vor – ein strukturiertes Pruning‑Framework, das die enorme Zustandsdimen…

arXiv – cs.AI 13.02.2026 05:00

Forschung

Weniger trainieren, schneller inferieren: Sparsity-basiertes Finetuning

Ein neues arXiv-Preprint (2602.09169v1) präsentiert einen innovativen Ansatz, um große Sprachmodelle effizient an spezifische Aufgaben anzu…

arXiv – cs.LG 11.02.2026 05:00

Forschung

UTOPIA: Tabellendaten unlernbar machen – neue Methode schützt sensible Daten

In der Welt der künstlichen Intelligenz gibt es ein neues Werkzeug, das dafür sorgt, dass sensible Tabellendaten nicht ohne Erlaubnis train…

arXiv – cs.LG 10.02.2026 05:00

Forschung

Schnelleres LLM-Training dank 2:4‑Sparsität und Venom‑Activations

Die Trainingszeit großer Sprachmodelle wird häufig durch die vielen Matrixmultiplikationen im Transformer begrenzt. Besonders im Feed‑Forwa…

arXiv – cs.LG 09.02.2026 05:00

Forschung

Physik als induktiver Bias für kausale Entdeckung in dynamischen Systemen

In einer neuen Studie wird gezeigt, wie physikalisches Wissen als induktiver Bias in die kausale Entdeckung eingebunden werden kann. Der An…

arXiv – cs.LG 06.02.2026 05:00

Forschung

TensorGalerkin: Revolutionärer, GPU‑schneller Galerkin‑Algorithmus für PDEs

Ein neues, einheitliches Framework für die numerische Lösung, die konstrahierte Optimierung und das physikbasierte Lernen von partiellen Di…

arXiv – cs.LG 06.02.2026 05:00

Forschung

Neues Paradigma für Moderation: Von sparsamen zu dichten Begründungen Die Sicherheit von Inhalten ist heute wichtiger denn je. Während textbasierte Moderationssysteme bereits hohe Erfolgsraten erzielen, bleiben multimodale Varianten – die Bild-, Video- und Audiodaten berücksichtigen – stark behindert durch Daten- und Supervisionssparsity. Klassische Ansätze, die ausschließlich auf binären Labels beruhen, führen häufig zu „Shortcut‑Learning“, bei dem Modelle oberflächliche Merkmale nutzen und die e

arXiv – cs.LG 04.02.2026 05:00

Forschung

SALR: Sparsity‑Aware Low‑Rank Representation beschleunigt Feinabstimmung von LLMs

Die neue Methode SALR (Sparsity‑Aware Low‑Rank Representation) löst ein zentrales Problem bei der Anpassung großer Sprachmodelle: Sie reduz…

arXiv – cs.LG 27.01.2026 05:00

Forschung

Neues Dreieck-Modell vergleicht neuronale Netzwerke umfassend

Wissenschaftler haben ein innovatives „Triangle of Similarity“ entwickelt, das neuronale Netzwerke aus drei Blickwinkeln bewertet: statisch…

arXiv – cs.LG 27.01.2026 05:00

Forschung

Effizienzsteigerung bei Mixture-of-Experts durch Gewicht- und Daten‑Sparsity

In einem neuen Beitrag auf arXiv wird gezeigt, wie Mixture-of-Experts‑Schichten die Rechenleistung durch Gewichtssparsity schon optimieren…

arXiv – cs.LG 23.01.2026 05:00

Forschung

Sparse‑RL: Speicherprobleme bei LLM‑Reinforcement Learning überwinden

Reinforcement Learning (RL) hat sich als unverzichtbares Werkzeug etabliert, um komplexe Denkfähigkeiten in großen Sprachmodellen (LLMs) zu…

arXiv – cs.LG 16.01.2026 05:00

Forschung

GeoRA: Geometriebewusste Low‑Rank‑Anpassung verbessert RLVR-Modelle

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist entscheidend für die Weiterentwicklung großer Sprachmodelle. Bisherige, p…

arXiv – cs.LG 15.01.2026 05:00

Forschung

Neue Hierarchische Sparse‑Plus‑Low‑Rank‑Kompression für große Sprachmodelle

Moderne große Sprachmodelle (LLMs) belasten Speicher und Rechenleistung in einem Ausmaß, das eine gezielte Kompression unverzichtbar macht…

arXiv – cs.LG 14.01.2026 05:00

Forschung

Sparsity entscheidend: Stabilität von Agenten-LLMs in großen Aktionsräumen

Eine neue Veröffentlichung auf arXiv (2601.08271v1) beleuchtet ein bislang wenig erforschtes Problem: wie große Sprachmodelle (LLMs) in Umg…

arXiv – cs.AI 14.01.2026 05:00

Forschung

Bayessche Methode übertrifft konvexe und greedy Ansätze bei Koalitionsstrukturen

Eine aktuelle Veröffentlichung auf arXiv beleuchtet die Herausforderung der probabilistischen Koalitionsstruktur‑Generierung (PCSG), die al…

arXiv – cs.AI 12.01.2026 05:00

Forschung

SHARe-KAN: Holographische Vektorquantisierung senkt Speicherbedarf drastisch

Die neueste Veröffentlichung auf arXiv (2512.15742v1) präsentiert SHARe-KAN, ein innovatives Verfahren zur Reduktion des Speicherverbrauchs…

arXiv – cs.LG 19.12.2025 05:00

Forschung

OPTIMA: One-Shot-Pruning von LLMs mit Quadratischer Programmierung – neue Genauigkeit

Die neue Methode OPTIMA setzt einen Meilenstein im Pruning nach dem Training großer Sprachmodelle. Durch die Kombination von Maskenauswahl…

arXiv – cs.LG 17.12.2025 05:00

Forschung

Dynamisches Top‑p MoE: Flexibles Routing für große Modelle

Ein neues Papier aus dem arXiv‑Repository präsentiert DTop‑p MoE, ein innovatives Verfahren, das die klassische Top‑k‑Routingschaltung durc…

arXiv – cs.AI 17.12.2025 05:00

Forschung

PIS: Neuer Solver für physikalische Inversion bei extrem spärlichen Messungen

Die Schätzung physikalischer Parameter aus wenigen indirekten Messungen ist ein klassisches, stark ill-posedes Problem. Besonders in Bereic…

arXiv – cs.LG 17.12.2025 05:00

Praxis

OpenAI stellt „circuit‑sparsity“ vor: Open‑Source‑Tools für sparsige Transformer

OpenAI hat kürzlich das Modell openai/circuit-sparsity auf Hugging Face sowie das zugehörige Toolkit openai/circuit_sparsity auf GitHub ver…

MarkTechPost 14.12.2025 03:01

Forschung

Neuer Ansatz: Molekulare Sequenzklassifikation via topologische Bilddarstellung

Traditionelle Feature‑Engineering‑Methoden für die Klassifikation molekularer Sequenzen leiden häufig unter Sparsity‑Problemen und hoher Re…

arXiv – cs.LG 12.12.2025 05:00

Forschung

R²-HGP: Doppelt regularisierter Gaußprozess für heterogenes Transfer‑Learning

In der Welt der Multi‑Output‑Gaussian‑Prozesse (MGP) hat sich ein neues Modell namens R²‑HGP etabliert, das die Grenzen des heterogenen Tra…

arXiv – cs.LG 12.12.2025 05:00

Forschung

LAPA: Neuer sparsamer Accelerator für Transformer mit Log‑Domain‑Vorhersage

Die neuesten Transformer‑Modelle haben die Verarbeitung natürlicher Sprache und Bilddaten revolutioniert. Doch je nach Eingabesequenz verän…

arXiv – cs.LG 10.12.2025 05:00

Forschung

BitStopper: Transformer‑Attention beschleunigt durch Stufenfusion & frühzeitigen

Die neuesten großen Sprachmodelle (LLMs) haben die KI‑Welt revolutioniert, doch die quadratische Kostenstruktur der Selbst‑Attention bleibt…

arXiv – cs.LG 09.12.2025 05:00

Forschung

Sparse Isotonic Shapley Regression: Neue Methode für nichtlineare Erklärungen

Shapley‑Werte gelten als Goldstandard für Feature‑Attributionen in erklärbarer KI, stoßen jedoch häufig an zwei Grenzen: Erstens wird in de…

arXiv – cs.AI 04.12.2025 05:00

Forschung

ESACT: Sparsierender Accelerator für Transformer – Ähnlichkeit nutzt Sparsity

Transformers haben sich dank ihrer herausragenden Leistung zu den führenden Modellen in vielen Bereichen entwickelt, doch ihr hoher Rechena…

arXiv – cs.LG 03.12.2025 05:00

Forschung

SpeContext: Effiziente Langkontext-Analyse mit spekulativer Kontextdünnung

In einer wegweisenden Veröffentlichung präsentiert SpeContext ein neues Paradigma für die Verarbeitung langer Kontexte in großen Sprachmode…

arXiv – cs.AI 02.12.2025 05:00

Finde Modelle, Firmen und Themen

Delta-Crosscoder: Robustes Modell‑Diffing bei schmalen Feintuning‑Setups

NeuroSleep: Energieeffizientes Schlaf-Tracking mit neuromorpher EEG-Analyse

SLA2: Dynamische Sparse-Linear Attention beschleunigt Video‑Diffusion um 18,6×

GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust

Weniger trainieren, schneller inferieren: Sparsity-basiertes Finetuning

UTOPIA: Tabellendaten unlernbar machen – neue Methode schützt sensible Daten

Schnelleres LLM-Training dank 2:4‑Sparsität und Venom‑Activations

Physik als induktiver Bias für kausale Entdeckung in dynamischen Systemen

TensorGalerkin: Revolutionärer, GPU‑schneller Galerkin‑Algorithmus für PDEs

SALR: Sparsity‑Aware Low‑Rank Representation beschleunigt Feinabstimmung von LLMs

Neues Dreieck-Modell vergleicht neuronale Netzwerke umfassend

Effizienzsteigerung bei Mixture-of-Experts durch Gewicht- und Daten‑Sparsity

Sparse‑RL: Speicherprobleme bei LLM‑Reinforcement Learning überwinden

GeoRA: Geometriebewusste Low‑Rank‑Anpassung verbessert RLVR-Modelle

Neue Hierarchische Sparse‑Plus‑Low‑Rank‑Kompression für große Sprachmodelle

Sparsity entscheidend: Stabilität von Agenten-LLMs in großen Aktionsräumen

<strong>Bayessche Methode übertrifft konvexe und greedy Ansätze bei Koalitionsstrukturen</strong>

SHARe-KAN: Holographische Vektorquantisierung senkt Speicherbedarf drastisch

OPTIMA: One-Shot-Pruning von LLMs mit Quadratischer Programmierung – neue Genauigkeit

Dynamisches Top‑p MoE: Flexibles Routing für große Modelle

PIS: Neuer Solver für physikalische Inversion bei extrem spärlichen Messungen

OpenAI stellt „circuit‑sparsity“ vor: Open‑Source‑Tools für sparsige Transformer

Neuer Ansatz: Molekulare Sequenzklassifikation via topologische Bilddarstellung

R²-HGP: Doppelt regularisierter Gaußprozess für heterogenes Transfer‑Learning

LAPA: Neuer sparsamer Accelerator für Transformer mit Log‑Domain‑Vorhersage

BitStopper: Transformer‑Attention beschleunigt durch Stufenfusion & frühzeitigen

Sparse Isotonic Shapley Regression: Neue Methode für nichtlineare Erklärungen

ESACT: Sparsierender Accelerator für Transformer – Ähnlichkeit nutzt Sparsity

SpeContext: Effiziente Langkontext-Analyse mit spekulativer Kontextdünnung

Finde Modelle, Firmen und Themen

Delta-Crosscoder: Robustes Modell‑Diffing bei schmalen Feintuning‑Setups

NeuroSleep: Energieeffizientes Schlaf-Tracking mit neuromorpher EEG-Analyse

SLA2: Dynamische Sparse-Linear Attention beschleunigt Video‑Diffusion um 18,6×

GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust

Weniger trainieren, schneller inferieren: Sparsity-basiertes Finetuning

UTOPIA: Tabellendaten unlernbar machen – neue Methode schützt sensible Daten

Schnelleres LLM-Training dank 2:4‑Sparsität und Venom‑Activations

Physik als induktiver Bias für kausale Entdeckung in dynamischen Systemen

TensorGalerkin: Revolutionärer, GPU‑schneller Galerkin‑Algorithmus für PDEs

SALR: Sparsity‑Aware Low‑Rank Representation beschleunigt Feinabstimmung von LLMs

Neues Dreieck-Modell vergleicht neuronale Netzwerke umfassend

Effizienzsteigerung bei Mixture-of-Experts durch Gewicht- und Daten‑Sparsity

Sparse‑RL: Speicherprobleme bei LLM‑Reinforcement Learning überwinden

GeoRA: Geometriebewusste Low‑Rank‑Anpassung verbessert RLVR-Modelle

Neue Hierarchische Sparse‑Plus‑Low‑Rank‑Kompression für große Sprachmodelle

Sparsity entscheidend: Stabilität von Agenten-LLMs in großen Aktionsräumen

<strong>Bayessche Methode übertrifft konvexe und greedy Ansätze bei Koalitionsstrukturen</strong>

SHARe-KAN: Holographische Vektorquantisierung senkt Speicherbedarf drastisch

OPTIMA: One-Shot-Pruning von LLMs mit Quadratischer Programmierung – neue Genauigkeit

Dynamisches Top‑p MoE: Flexibles Routing für große Modelle

PIS: Neuer Solver für physikalische Inversion bei extrem spärlichen Messungen

OpenAI stellt „circuit‑sparsity“ vor: Open‑Source‑Tools für sparsige Transformer

Neuer Ansatz: Molekulare Sequenzklassifikation via topologische Bilddarstellung

R²-HGP: Doppelt regularisierter Gaußprozess für heterogenes Transfer‑Learning

LAPA: Neuer sparsamer Accelerator für Transformer mit Log‑Domain‑Vorhersage

BitStopper: Transformer‑Attention beschleunigt durch Stufenfusion & frühzeitigen

Sparse Isotonic Shapley Regression: Neue Methode für nichtlineare Erklärungen

ESACT: Sparsierender Accelerator für Transformer – Ähnlichkeit nutzt Sparsity

SpeContext: Effiziente Langkontext-Analyse mit spekulativer Kontextdünnung

🍪 Cookie-Einstellungen

GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust