Suche nach Logits | meineki.news

FedEMA‑Distill: EMA‑basierte Knowledge‑Distillation stärkt Federated Learning

Federated Learning (FL) leidet häufig unter heterogenen, nicht‑IID‑Daten und aggressiven Clients, was zu Drift, langsamer Konvergenz und ho…

arXiv – cs.LG 06.03.2026 05:00

Forschung

LLMs werden selbstrobust: CoIPO steigert Prompt‑Stabilität

Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) zeigen beeindruckende Leistungen in vielen Aufgabenbereichen. Dennoch sind diese…

arXiv – cs.AI 05.03.2026 05:00

Forschung

Energie-Leckagen in Sprachmodellen: Neue Methode erkennt Halluzinationen

Ein neues Papier von arXiv (2602.18671v1) präsentiert eine innovative Sichtweise auf die Softmax‑Klassifikation von LLMs als Energie‑basier…

arXiv – cs.AI 24.02.2026 05:00

Forschung

QuantVLA: Post-Training Quantisierung für Vision‑Language‑Action‑Modelle

QuantVLA ist ein neu entwickeltes, trainingsfreies Post‑Training‑Quantisierungsframework, das speziell für Vision‑Language‑Action‑Modelle (…

arXiv – cs.LG 25.02.2026 05:00

Forschung

Rank-basierte Spektralgrenzen sichern stabile FP8-Transformer-Training

Ein neues arXiv-Papier liefert einen entscheidenden Fortschritt für das Training von Transformer‑Modellen in extrem niedriger Präzision. Du…

arXiv – cs.LG 24.02.2026 05:00

Forschung

Neue Proxy‑Methode steigert Effizienz beim Feintuning großer Sprachmodelle

Beim Supervised Fine‑Tuning (SFT) ist die Auswahl der Trainingsdaten entscheidend für die Leistung eines Modells. Gradientbasierte Auswahlv…

arXiv – cs.LG 23.02.2026 05:00

Forschung

Prior Estimator: Lernende Klassenprioritäten aus latenten Repräsentationen Eine neue Methode namens Neural Prior Estimator (NPE) löst das Problem des Klassenungleichgewichts in tiefen neuronalen Netzen, indem sie die effektiven Klassenprioritäten aus den latenten Merkmalen lernt. Durch die Anpassung der Logits an die geschätzten Prioritäten werden Verzerrungen reduziert und die Leistung bei seltenen Klassen verbessert. NPE kombiniert einen oder mehrere Prior Estimation Modules, die gemeinsa

arXiv – cs.LG 23.02.2026 05:00

Forschung

Signalverbesserung & Klassifikation via gekoppelte Diffusionsmodelle

Die robuste Klassifikation in verrauschten Umgebungen bleibt eine zentrale Herausforderung im maschinellen Lernen. Traditionelle Verfahren…

arXiv – cs.LG 18.02.2026 05:00

Forschung

DRTC: Erkennung kritischer Entscheidungsstellen in Sprachmodell-Logik

Die Frage, wie Sprachmodelle lange, komplexe Argumentationsketten aufbauen, bleibt ein zentrales Forschungsproblem. Bisherige Erklärungsans…

arXiv – cs.LG 18.02.2026 05:00

Forschung

EntRGi: Neue Methode verbessert Reward Guidance bei Diffusion‑Sprachmodellen

Ein neues Verfahren namens EntRGi (Entropy aware Reward Guidance) hat die Art und Weise, wie Belohnungsmodelle bei diskreten Diffusion‑Spra…

arXiv – cs.LG 06.02.2026 05:00

Forschung

Neue Methode enthüllt, welche Tokens LLMs bei Vorhersagen beeinflussen

Forscher haben eine neue Technik namens Jacobian Scopes entwickelt, die es ermöglicht, genau zu bestimmen, welche einzelnen Tokens in einem…

arXiv – cs.AI 26.01.2026 05:00

Forschung

AGDC: Modell für diskrete & kontinuierliche Sequenzen – hochpräzise Generierung

Ein neues Forschungsprojekt namens AGDC (Autoregressive Generierung von variablen Sequenzen mit gemeinsamen diskreten und kontinuierlichen…

arXiv – cs.LG 12.01.2026 05:00

Forschung

Interpretierbare Wissensübertragung in Zeitreihen: Temporal Saliency Distillation

Die Kompression von Modellen durch Knowledge Distillation funktioniert, indem ein großes Lehrmodell (Teacher) sein Wissen an ein kleineres…

arXiv – cs.LG 09.01.2026 05:00

Forschung

Hybrid‑Federated‑Learning: Mehr Genauigkeit bei Rauschbelastung

In der Welt des verteilten Lernens stehen Federated Learning (FL) und Federated Distillation (FD) als zwei prominente Ansätze, die Modelle…

arXiv – cs.LG 09.01.2026 05:00

Praxis

Softmax von Grund auf: Numerische Stabilität sicherstellen

In der Tiefenlern‑Community ist die Softmax‑Funktion das Herzstück von Klassifikationsmodellen. Sie wandelt die rohen, unbegrenzten Logits…

MarkTechPost 07.01.2026 04:31

Forschung

Dynamisches Top‑p MoE: Flexibles Routing für große Modelle

Ein neues Papier aus dem arXiv‑Repository präsentiert DTop‑p MoE, ein innovatives Verfahren, das die klassische Top‑k‑Routingschaltung durc…

arXiv – cs.AI 17.12.2025 05:00

Forschung

MolGuidance: Neue Guidance‑Strategien für konditionierte Molekülgenerierung

Die neueste Veröffentlichung von MolGuidance präsentiert fortschrittliche Guidance‑Methoden, die die konditionierte Molekülgenerierung auf…

arXiv – cs.LG 16.12.2025 05:00

Forschung

Neues probabilistisches Modell für Kristallstruktur: Denoising, Phasen & OPs

Atomistische Simulationen liefern riesige Mengen verrauschter Strukturdaten, doch die extraktion von Phasenkennungen, Ordnungsparametern un…

arXiv – cs.AI 15.12.2025 05:00

Forschung

FlatFormer: Flacher Transformer für Lernverfolgung mit kognitiver Bias-Integration

Die neueste Veröffentlichung auf arXiv (2512.06629v1) präsentiert FlatFormer, ein schlankes Transformer-Modell, das die Lernverfolgung (Kno…

arXiv – cs.AI 09.12.2025 05:00

Forschung

Neue Methode eliminiert Look‑ahead‑Bias bei LLMs in Finanzprognosen

Die Nutzung von großen Sprachmodellen (LLMs) für Finanzprognosen stößt häufig an die Grenze des Look‑ahead‑Bias. Dieser entsteht, weil die…

arXiv – cs.LG 09.12.2025 05:00

Forschung

GDKD: Verteilungsbasierte Distillation steigert Leistung

In der Entwicklung von Knowledge‑Distillation hat sich der Fokus von Logit‑ zu Feature‑basierten Ansätzen gewandelt. Mit der Einführung von…

arXiv – cs.LG 05.12.2025 05:00

Forschung

Generative Early Stage Ranking: Mehr Präzision durch neue Attention-Module

In der Welt der großen Empfehlungssysteme wird häufig ein mehrstufiges Ranking eingesetzt, um sowohl Effektivität als auch Effizienz zu gew…

arXiv – cs.LG 27.11.2025 05:00

Forschung

Neues Paradigma: Datenlose Wissensübertragung zwischen KI-Modellen

Moderne KI-Systeme sind stark auf riesige Datensätze angewiesen, um Modelle zu trainieren und Wissen zwischen ihnen zu übertragen. Traditio…

arXiv – cs.LG 25.11.2025 05:00

Forschung

LLM-Training ohne Logits: Speicher- und Geschwindigkeitsvorteile

Traditionell werden bei der Schulung großer Sprachmodelle (LLMs) die versteckten Zustände zunächst in Logits umgewandelt, bevor der Kreuzen…

arXiv – cs.LG 25.11.2025 05:00

Forschung

Softmax als Lagrange- und Legendrian-Seam: ML trifft Differentialgeometrie

In einer bahnbrechenden Veröffentlichung verbindet ein neues Papier die Welt des maschinellen Lernens mit der modernen Differentialgeometri…

arXiv – cs.LG 18.11.2025 05:00

Forschung

WaterMod: Probabilitätsbalanciertes Token-Partitioning für LLM‑Watermarking

Moderne Sprachmodelle schreiben Nachrichten, Rechtsgutachten und Code mit einer menschlichen Fließfähigkeit. Gleichzeitig verlangt die EU‑K…

arXiv – cs.AI 12.11.2025 05:00

Forschung

SofT-GRPO: Soft-Thinking-LLMs übertreffen klassische Token-basierte RL-Methoden

Ein neuer Ansatz namens SofT-GRPO hat die Forschung im Bereich der großen Sprachmodelle (LLMs) vorangetrieben, indem er das Soft-Thinking-P…

arXiv – cs.AI 11.11.2025 05:00

Forschung

Semantisch bewusste Logit‑Interventionen senken Bias in LLMs drastisch

Eine neue Studie aus dem Bereich der großen Sprachmodelle (LLMs) präsentiert zwei innovative, zero‑shot‑Methoden zur Bias‑Reduktion: „Stati…

arXiv – cs.LG 29.10.2025 04:00

Forschung

Neues Framework CATMark verbessert Wasserzeichen in LLMs ohne Qualitätsverlust

Wasserzeichen-Algorithmen für große Sprachmodelle (LLMs) erkennen maschinell erzeugte Texte, indem sie versteckte statistische Merkmale ein…

arXiv – cs.AI 06.10.2025 05:00

Forschung

Konforme Datenaugmentation: Mehr Vertrauen, bessere Ergebnisse

In einer neuen Studie auf arXiv wird gezeigt, dass synthetische Datenaugmentation, die bisher vielversprechende Ergebnisse in vielen Bereic…

arXiv – cs.LG 29.09.2025 05:00

Finde Modelle, Firmen und Themen

FedEMA‑Distill: EMA‑basierte Knowledge‑Distillation stärkt Federated Learning

LLMs werden selbstrobust: CoIPO steigert Prompt‑Stabilität

Energie-Leckagen in Sprachmodellen: Neue Methode erkennt Halluzinationen

QuantVLA: Post-Training Quantisierung für Vision‑Language‑Action‑Modelle

Rank-basierte Spektralgrenzen sichern stabile FP8-Transformer-Training

Neue Proxy‑Methode steigert Effizienz beim Feintuning großer Sprachmodelle

Signalverbesserung & Klassifikation via gekoppelte Diffusionsmodelle

DRTC: Erkennung kritischer Entscheidungsstellen in Sprachmodell-Logik

EntRGi: Neue Methode verbessert Reward Guidance bei Diffusion‑Sprachmodellen

Neue Methode enthüllt, welche Tokens LLMs bei Vorhersagen beeinflussen

AGDC: Modell für diskrete & kontinuierliche Sequenzen – hochpräzise Generierung

Interpretierbare Wissensübertragung in Zeitreihen: Temporal Saliency Distillation

Hybrid‑Federated‑Learning: Mehr Genauigkeit bei Rauschbelastung

Softmax von Grund auf: Numerische Stabilität sicherstellen

Dynamisches Top‑p MoE: Flexibles Routing für große Modelle

MolGuidance: Neue Guidance‑Strategien für konditionierte Molekülgenerierung

Neues probabilistisches Modell für Kristallstruktur: Denoising, Phasen & OPs

FlatFormer: Flacher Transformer für Lernverfolgung mit kognitiver Bias-Integration

Neue Methode eliminiert Look‑ahead‑Bias bei LLMs in Finanzprognosen

GDKD: Verteilungsbasierte Distillation steigert Leistung

Generative Early Stage Ranking: Mehr Präzision durch neue Attention-Module

Neues Paradigma: Datenlose Wissensübertragung zwischen KI-Modellen

LLM-Training ohne Logits: Speicher- und Geschwindigkeitsvorteile

Softmax als Lagrange- und Legendrian-Seam: ML trifft Differentialgeometrie

WaterMod: Probabilitätsbalanciertes Token-Partitioning für LLM‑Watermarking

SofT-GRPO: Soft-Thinking-LLMs übertreffen klassische Token-basierte RL-Methoden

Semantisch bewusste Logit‑Interventionen senken Bias in LLMs drastisch

Neues Framework CATMark verbessert Wasserzeichen in LLMs ohne Qualitätsverlust

Konforme Datenaugmentation: Mehr Vertrauen, bessere Ergebnisse

🍪 Cookie-Einstellungen