Suche nach Knowledge Distillation

FedEMA‑Distill: EMA‑basierte Knowledge‑Distillation stärkt Federated Learning

Federated Learning (FL) leidet häufig unter heterogenen, nicht‑IID‑Daten und aggressiven Clients, was zu Drift, langsamer Konvergenz und ho…

arXiv – cs.LG 06.03.2026 05:00

Forschung

Temperaturparameter in Knowledge Distillation beleuchtet – klare Auswahlrichtlinien

In der Wissensdistillation wird ein Temperaturparameter eingesetzt, um die in den Gewichten des Lehrmodells verborgene Beziehungsmatrix für…

arXiv – cs.LG 04.03.2026 05:00

Forschung

Router‑Kalibrierung rettet re‑Training‑freie MoE‑Kompression

Die neueste Studie aus dem arXiv‑Repository zeigt, dass die gängige Praxis, Mixture‑of‑Experts‑Modelle ohne erneutes Training zu komprimier…

arXiv – cs.LG 04.03.2026 05:00

Forschung

Neue Methode distilliert RL-optimierte LLMs effizienter

Reinforcement‑Learning‑Post‑Training hat kürzlich große Fortschritte bei der langen Ketten‑von‑Denken‑Logik von großen Sprachmodellen erzie…

arXiv – cs.LG 27.02.2026 05:00

Forschung

Forscher haben eine neue Technik entwickelt, um Sprachmodelle vor unerlaubter Distillation zu schützen. Knowledge Distillation ist ein weit verbreitetes Verfahren, bei dem große Sprachmodelle ihr Wissen an kleinere, effizientere Modelle übergeben. Doch wenn diese Technik ohne Genehmigung eingesetzt wird, profitiert man unrechtmäßig von den enormen Entwicklungsaufwendungen und Kosten, die in die Schaffung hochentwickelter Modelle geflossen sind. Die neue Methode nutzt „Trace‑Rewriting“, um d

arXiv – cs.AI 18.02.2026 05:00

Forschung

Drive-KD: Mehrfach-Teacher-Distillation für effiziente VLMs im autonomen Fahren

Autonomes Fahren steht im Fokus der neuesten KI-Forschung, weil es sowohl sicherheitskritisch als auch technologisch herausfordernd ist. Du…

arXiv – cs.AI 30.01.2026 05:00

Forschung

FastWhisper: Schnellere und genauere Spracherkennung dank adaptiver Selbstdistillation

In der Welt der automatischen Spracherkennung hat das neue Modell FastWhisper einen bedeutenden Fortschritt erzielt. Durch die Anwendung ei…

arXiv – cs.AI 29.01.2026 05:00

Forschung

Wie Unsicherheit bei der Wissensdistillation übertragen wird

Eine neue Untersuchung von ArXiv beleuchtet, wie Unsicherheit während der Wissensdistillation von einem Lehrer- zu einem Schülermodell weit…

arXiv – cs.LG 28.01.2026 05:00

Forschung

Offline‑Lernmethode steigert Fachkompetenz von LLMs bei begrenzten Ressourcen

Eine neue Technik zur Wissensdistillation, die ausschließlich offline arbeitet, ermöglicht es großen Sprachmodellen, sich in spezialisierte…

arXiv – cs.AI 26.01.2026 05:00

Forschung

Kategorien der Inferenzskalierung für verbesserte LLM-Logik

In den letzten Jahren haben Forscher neue Wege gefunden, die Leistungsfähigkeit großer Sprachmodelle (LLMs) zu steigern, ohne die Modellgrö…

Sebastian Raschka – Ahead of AI 24.01.2026 11:23

Forschung

Quantisierung mit QAT steigert Effizienz von LLMs für komplexes Rechnen

Eine neue Studie von Forschern auf arXiv zeigt, dass quantisierungsbewusstes Training (QAT) die Leistung von Sprachmodellen, die für komple…

arXiv – cs.LG 22.01.2026 05:00

Forschung

InfGraND: Einflussbasierte Distillation von GNN zu MLP für schnelle Graph-Analyse

Graph Neural Networks (GNNs) gelten als Standardmodell für die Analyse von Graphdaten, doch ihre Kernoperationen – Aggregation und Update –…

arXiv – cs.LG 14.01.2026 05:00

Forschung

Gezielte Distillation: Domänenexperten aus großen ML-Modellen extrahieren In der Welt der künstlichen Intelligenz geht es oft darum, die Leistungsfähigkeit großer, komplexer Modelle – die sogenannten „Lehrer“ – auf kleinere, ressourcenschonende Varianten zu übertragen. Diese Technik, bekannt als Knowledge Distillation, ist besonders wichtig, wenn Modelle in Umgebungen mit begrenzter Rechenleistung eingesetzt werden sollen. Ein häufiges Problem dabei ist, dass nur ein kleiner Teil der gesamt

arXiv – cs.LG 12.01.2026 05:00

Forschung

FedKDX: Federated Learning mit negativer Wissensdistillation verbessert medizinische KI

It looks like the text you provided is already in German. If you intended to translate it from another language (e.g., English) into German…

arXiv – cs.LG 09.01.2026 05:00

Forschung

MemKD: Effiziente Zeitreihenklassifikation durch Memory-Discrepancy KD

Deep‑Learning‑Modelle, insbesondere rekurrente neuronale Netze wie LSTM, haben die Analyse von Zeitreihen revolutioniert. Sie erkennen komp…

arXiv – cs.LG 09.01.2026 05:00

Forschung

Interpretierbare Wissensübertragung in Zeitreihen: Temporal Saliency Distillation

Die Kompression von Modellen durch Knowledge Distillation funktioniert, indem ein großes Lehrmodell (Teacher) sein Wissen an ein kleineres…

arXiv – cs.LG 09.01.2026 05:00

Forschung

Strukturiertes Chain‑of‑Thought steigert Text‑zu‑SQL‑Leistung um 8,1 %

Die Einführung präziser Text‑zu‑SQL‑Systeme in Unternehmen steht vor einem schwierigen Dreiklang aus Kosten, Sicherheit und Leistung. Derze…

arXiv – cs.AI 22.12.2025 05:00

Forschung

GDKD: Verteilungsbasierte Distillation steigert Leistung

In der Entwicklung von Knowledge‑Distillation hat sich der Fokus von Logit‑ zu Feature‑basierten Ansätzen gewandelt. Mit der Einführung von…

arXiv – cs.LG 05.12.2025 05:00

Forschung

Kostenlose LLM-Agenten: In-Context Distillation senkt Ausführungskosten um 2,5‑fach

In einer neuen Veröffentlichung auf arXiv wird ein Verfahren vorgestellt, das die Ausführungskosten von großen Sprachmodell‑Agenten drastis…

arXiv – cs.LG 03.12.2025 05:00

Forschung

S²-KD: Semantisch-spektrales Wissenstransferverfahren verbessert Vorhersagen

Spatiotemporale Vorhersagen, die Wetterphänomene oder Verkehrsströme prognostizieren, erfordern oft rechenintensive Modelle, um die komplex…

arXiv – cs.LG 02.12.2025 05:00

Forschung

Pruning ohne Daten: Genauigkeitsrückgewinnung via datenfreier Distillation

Model‑Pruning ist ein bewährtes Verfahren, um die Rechenlast und den Speicherbedarf von Deep Neural Networks drastisch zu senken. In der Pr…

arXiv – cs.AI 27.11.2025 05:00

Forschung

Leichtgewichtiges Modell für Denken: Dynamisches Pruning & Distillation

Mit dem rasanten Fortschritt im Deep Learning haben große Sprachmodelle beeindruckende Fähigkeiten in komplexen Rechenaufgaben gezeigt. Ihr…

arXiv – cs.LG 25.11.2025 05:00

Forschung

Neues Paradigma: Datenlose Wissensübertragung zwischen KI-Modellen

Moderne KI-Systeme sind stark auf riesige Datensätze angewiesen, um Modelle zu trainieren und Wissen zwischen ihnen zu übertragen. Traditio…

arXiv – cs.LG 25.11.2025 05:00

Forschung

Neue Distillationstechnik erhöht Angriffe auf LLM-basierte Empfehlungssysteme

Forscher haben ein neues Angriffskonzept entwickelt, das die Sicherheit von großen Sprachmodellen (LLM) in Empfehlungssystemen gefährdet. D…

arXiv – cs.AI 20.11.2025 05:00

Forschung

Knowledge Distillation dominiert bei privatschutzoptimierten klinischen Sprachmodellen

Eine neue Vergleichsstudie auf arXiv zeigt, welche Methoden zum Schutz sensibler Patientendaten in klinischen Sprachmodellen am effektivste…

arXiv – cs.LG 20.11.2025 05:00

Forschung

Whisper-Model: Layer Attention & Knowledge Distillation senken Halluzinationen

Das Whisper‑Modell, ein Open‑Source-System für automatische Spracherkennung, ist wegen seiner starken Leistung in multilingualen und Zero‑S…

arXiv – cs.AI 19.11.2025 05:00

Forschung

Effiziente Klassifizierung großer Textkorpora: LLMs auf Budget

Große Sprachmodelle (LLMs) liefern zwar erstklassige Klassifikationsleistungen, doch die damit verbundenen Rechen- und Kostenbelastungen er…

arXiv – cs.LG 18.11.2025 05:00

Forschung

Dynamischer Temperaturplaner verbessert Knowledge Distillation

In der neuesten Veröffentlichung auf arXiv (2511.13767v1) wird ein innovativer Ansatz vorgestellt, der die klassische Knowledge‑Distillatio…

arXiv – cs.LG 19.11.2025 05:00

Forschung

SMAGDi: Kompaktes Modell distilliert Multi-Agenten-Debatte für hohe Genauigkeit

In der Forschung zu Multi-Agenten-Systemen (MAS) wird häufig festgestellt, dass mehrere Modelle gemeinsam über Debatten hinweg bessere Erge…

arXiv – cs.AI 11.11.2025 05:00

Forschung

Distillation steigert Effizienz bei Unsicherheitsmodellierung RTA-Interception

In der Echtzeit-Auktion (RTA) soll Interception unerwünschten Traffic aussortieren, um die Datenintegrität zu sichern. Dabei stehen zwei ze…

arXiv – cs.LG 11.11.2025 05:00

Finde Modelle, Firmen und Themen

FedEMA‑Distill: EMA‑basierte Knowledge‑Distillation stärkt Federated Learning

Temperaturparameter in Knowledge Distillation beleuchtet – klare Auswahlrichtlinien

Router‑Kalibrierung rettet re‑Training‑freie MoE‑Kompression

Neue Methode distilliert RL-optimierte LLMs effizienter

Drive-KD: Mehrfach-Teacher-Distillation für effiziente VLMs im autonomen Fahren

FastWhisper: Schnellere und genauere Spracherkennung dank adaptiver Selbstdistillation

Wie Unsicherheit bei der Wissensdistillation übertragen wird

Offline‑Lernmethode steigert Fachkompetenz von LLMs bei begrenzten Ressourcen

Kategorien der Inferenzskalierung für verbesserte LLM-Logik

Quantisierung mit QAT steigert Effizienz von LLMs für komplexes Rechnen

InfGraND: Einflussbasierte Distillation von GNN zu MLP für schnelle Graph-Analyse

FedKDX: Federated Learning mit negativer Wissensdistillation verbessert medizinische KI

MemKD: Effiziente Zeitreihenklassifikation durch Memory-Discrepancy KD

Interpretierbare Wissensübertragung in Zeitreihen: Temporal Saliency Distillation

Strukturiertes Chain‑of‑Thought steigert Text‑zu‑SQL‑Leistung um 8,1 %

GDKD: Verteilungsbasierte Distillation steigert Leistung

Kostenlose LLM-Agenten: In-Context Distillation senkt Ausführungskosten um 2,5‑fach

S²-KD: Semantisch-spektrales Wissenstransferverfahren verbessert Vorhersagen

Pruning ohne Daten: Genauigkeitsrückgewinnung via datenfreier Distillation

Leichtgewichtiges Modell für Denken: Dynamisches Pruning & Distillation

Neues Paradigma: Datenlose Wissensübertragung zwischen KI-Modellen

Neue Distillationstechnik erhöht Angriffe auf LLM-basierte Empfehlungssysteme

Knowledge Distillation dominiert bei privatschutzoptimierten klinischen Sprachmodellen

Whisper-Model: Layer Attention & Knowledge Distillation senken Halluzinationen

Effiziente Klassifizierung großer Textkorpora: LLMs auf Budget

Dynamischer Temperaturplaner verbessert Knowledge Distillation

SMAGDi: Kompaktes Modell distilliert Multi-Agenten-Debatte für hohe Genauigkeit

Distillation steigert Effizienz bei Unsicherheitsmodellierung RTA-Interception

🍪 Cookie-Einstellungen

Strukturiertes Chain‑of‑Thought steigert Text‑zu‑SQL‑Leistung um 8,1 %