Suche nach PEFT | meineki.news

Gewicht-Updates als Aktivierungsverschiebungen: Prinzipienbasierte Steuerung

Die neueste Studie von ArXiv 2603.00425v1 zeigt, dass Aktivierungssteuerung – ein äußerst parameter‑effizienter Ansatz zur Modellanpassung…

arXiv – cs.LG 03.03.2026 05:00

Forschung

Agentische KI optimiert Intent-getriebene O‑RAN‑Netzwerke ohne Zellen

In der neuesten Forschung wird gezeigt, wie agentische künstliche Intelligenz (KI) die autonome Steuerung von Radio‑Access‑Netzwerken (RANs…

arXiv – cs.AI 27.02.2026 05:00

Forschung

Bayessche Stiefel-Adapter: Kalibrierte PEFT für zuverlässige Sprachmodelle

Parameter‑effizientes Fine‑Tuning wie LoRA ermöglicht die praktische Anpassung großer Sprachmodelle, liefert jedoch keine verlässlichen Uns…

arXiv – cs.LG 23.02.2026 05:00

Praxis

In diesem Tutorial wird ein End‑to‑End‑Workflow für Direct Preference Optimization vorgestellt, mit dem große Sprachmodelle an menschliche Präferenzen angepasst werden können – und das ganz ohne ein Reward‑Modell. Der Ansatz kombiniert TRL’s DPOTrainer mit QLoRA und PEFT, sodass die Präferenzbasierte Ausrichtung auf einer einzigen Colab‑GPU möglich ist. Das Training erfolgt direkt auf dem binarisierten UltraFeedback‑Datensatz, bei dem jedes Prompt ein binäres Feedback erhält. Dadurch lassen

MarkTechPost 13.02.2026 04:32

Praxis

<h1>Federated Learning: LoRA-Fine‑Tuning von LLMs mit Flower & PEFT</h1> In einem neuen Tutorial wird gezeigt, wie das Feintuning eines großen Sprachmodells (LLM) federiert werden kann, ohne jemals private Textdaten zu zentralisieren. Durch den Einsatz von LoRA (Low‑Rank Adaptation) bleiben die Daten der einzelnen Organisationen lokal, während das Modell gemeinsam verbessert wird. Das Beispiel simuliert mehrere Organisationen als virtuelle Clients. Jeder Client passt das gemeinsame Basismodell lok

MarkTechPost 10.02.2026 04:57

Forschung

Neue Methode zur gezielten Layer‑Auswahl bei PEFT von LLMs

Mit dem stetigen Wachstum großer Sprachmodelle wird das vollständige Fein‑Tuning immer teurer und zeitaufwändiger. Parameter‑effizientes Fi…

arXiv – cs.LG 05.02.2026 05:00

Forschung

KNEXA-FL: Orchestriertes, dezentrales Federated Learning für sichere LLM‑Fusion

Die Feinabstimmung großer Sprachmodelle (LLMs) für spezielle Fachgebiete steht vor einer zentralen Hürde: vielfältige, organisationsübergre…

arXiv – cs.LG 27.01.2026 05:00

Forschung

Monkey Jump: Effizientes Multi-Task-Lernen ohne zusätzliche Parameter

Die neueste Veröffentlichung auf arXiv (2601.06356v1) stellt Monkey Jump vor – eine Methode, die die Vorteile von Mixture-of-Experts (MoE)…

arXiv – cs.LG 13.01.2026 05:00

Forschung

AdaGradSelect: Adaptive Blockauswahl beschleunigt das Feintuning von SLMs

Große Sprachmodelle (LLMs) lösen zahlreiche NLP-Aufgaben zuverlässig, doch ein vollständiges Feintuning ist kostenintensiv und erfordert vi…

arXiv – cs.LG 19.12.2025 05:00

Forschung

Effizientes Federated Recommendation: Plug-and-Play PEFT für Embeddings

Mit der zunehmenden Verbreitung von Cloud‑Edge‑Kollaborationen werden Empfehlungssysteme vermehrt in verteilten Umgebungen trainiert. Feder…

arXiv – cs.LG 17.12.2025 05:00

Forschung

MobileFineTuner: LLMs direkt auf Smartphones feinjustieren – Open-Source-Framework

Ein neues Open-Source-Framework namens MobileFineTuner ermöglicht es, große Sprachmodelle (LLMs) direkt auf handelsüblichen Smartphones zu…

arXiv – cs.LG 10.12.2025 05:00

Forschung

GRASP: Neue PEFT-Methode reduziert Parameter um zehnfach und steigert Robustheit

In der Welt der großen vortrainierten Sprachmodelle gewinnt das Parameter‑Effiziente Fine‑Tuning (PEFT) immer mehr an Bedeutung. Statt das…

arXiv – cs.LG 05.12.2025 05:00

Forschung

TinyLLM: Kleine Sprachmodelle meistern Agentenaufgaben auf Edge-Geräten

In einer neuen Studie von arXiv (2511.22138v1) wird gezeigt, dass kleine Sprachmodelle (SLMs) in der Lage sind, komplexe agentische Aufgabe…

arXiv – cs.LG 01.12.2025 05:00

Forschung

GateRA: Tokenbasierte Modulation für effizientes Feintuning von Parametern

GateRA ist ein neues Framework, das Parameter‑Effizientes Feintuning (PEFT) auf ein neues Level hebt. Während etablierte Methoden wie LoRA…

arXiv – cs.LG 25.11.2025 05:00

Forschung

Neues Finetuning-Verfahren verbessert mathematisches Denken von KI-Modellen

In der KI-Forschung hat sich Parameter‑Effizientes Finetuning (PEFT) als Schlüsseltechnologie etabliert, um die Leistung von Modellen bei s…

arXiv – cs.LG 17.11.2025 05:00

Forschung

LT‑Soups: Brücken bauen zwischen Kopf‑ und Schwanzklassen mit Model Soups

In vielen realen Datensätzen zeigen sich stark unausgewogene Klassenverteilungen, bei denen wenige „Kopf“-Klassen die Mehrheit bilden, währ…

arXiv – cs.LG 17.11.2025 05:00

Forschung

Mistral 7B LLM liefert mehrschichtige Analyse von Krypto-News

In einer neuen Studie auf arXiv wird gezeigt, wie ein feinabgestimmtes Mistral 7B‑Large‑Language‑Model (LLM) in Kombination mit Retrieval‑A…

arXiv – cs.AI 05.09.2025 05:00

Forschung

FedReFT: Federated Representation Fine‑Tuning mit All‑But‑Me Aggregation

Die neue Methode FedReFT bringt Parameter‑Effizientes Fine‑Tuning (PEFT) in die Welt des Federated Learning (FL) und setzt dabei auf die vi…

arXiv – cs.LG 29.08.2025 05:00

Forschung

PGF-Net: Gated-Fusion-Framework für effiziente multimodale Sentimentanalyse

Ein neues Deep‑Learning‑Modell namens PGF‑Net wurde vorgestellt, das multimodale Sentimentanalyse effizienter und nachvollziehbarer macht…

arXiv – cs.LG 25.08.2025 05:00

Forschung

GEM: Skalierungs‑ und Verteilungs‑Sensitivität verbessert Genauigkeit um 1,6 %

In der Welt der großen vortrainierten Sprachmodelle gewinnt Parameter‑Effizientes Fine‑Tuning (PEFT) immer mehr an Bedeutung. Dabei werden…

arXiv – cs.LG 25.08.2025 05:00

Forschung

SPANER: Multimodale Semantik vereint – neues PEFT-Framework für Cross‑Modal‑Retrieval

In den letzten Monaten haben sich Parameter‑Effiziente Fine‑Tuning‑Methoden (PEFT) für multimodale Modelle rasant weiterentwickelt. Sie erm…

arXiv – cs.AI 20.08.2025 05:00

Forschung

Naive LoRA‑Summation: Orthogonalität nutzt effizientes Modulare Lernen

In der aktuellen Forschung zu großen Sprachmodellen wird deutlich, dass der Fortschritt vor allem durch die Skalierung der Modelle voranget…

arXiv – cs.LG 19.08.2025 05:00

Finde Modelle, Firmen und Themen

Gewicht-Updates als Aktivierungsverschiebungen: Prinzipienbasierte Steuerung

Agentische KI optimiert Intent-getriebene O‑RAN‑Netzwerke ohne Zellen

Bayessche Stiefel-Adapter: Kalibrierte PEFT für zuverlässige Sprachmodelle

Neue Methode zur gezielten Layer‑Auswahl bei PEFT von LLMs

KNEXA-FL: Orchestriertes, dezentrales Federated Learning für sichere LLM‑Fusion

Monkey Jump: Effizientes Multi-Task-Lernen ohne zusätzliche Parameter

AdaGradSelect: Adaptive Blockauswahl beschleunigt das Feintuning von SLMs

Effizientes Federated Recommendation: Plug-and-Play PEFT für Embeddings

MobileFineTuner: LLMs direkt auf Smartphones feinjustieren – Open-Source-Framework

GRASP: Neue PEFT-Methode reduziert Parameter um zehnfach und steigert Robustheit

TinyLLM: Kleine Sprachmodelle meistern Agentenaufgaben auf Edge-Geräten

GateRA: Tokenbasierte Modulation für effizientes Feintuning von Parametern

Neues Finetuning-Verfahren verbessert mathematisches Denken von KI-Modellen

LT‑Soups: Brücken bauen zwischen Kopf‑ und Schwanzklassen mit Model Soups

Mistral 7B LLM liefert mehrschichtige Analyse von Krypto-News

FedReFT: Federated Representation Fine‑Tuning mit All‑But‑Me Aggregation

PGF-Net: Gated-Fusion-Framework für effiziente multimodale Sentimentanalyse

GEM: Skalierungs‑ und Verteilungs‑Sensitivität verbessert Genauigkeit um 1,6 %

<span style="font-weight:bold;">SPANER: Multimodale Semantik vereint – neues PEFT-Framework für Cross‑Modal‑Retrieval</span>

Naive LoRA‑Summation: Orthogonalität nutzt effizientes Modulare Lernen

Finde Modelle, Firmen und Themen

Gewicht-Updates als Aktivierungsverschiebungen: Prinzipienbasierte Steuerung

Agentische KI optimiert Intent-getriebene O‑RAN‑Netzwerke ohne Zellen

Bayessche Stiefel-Adapter: Kalibrierte PEFT für zuverlässige Sprachmodelle

Neue Methode zur gezielten Layer‑Auswahl bei PEFT von LLMs

KNEXA-FL: Orchestriertes, dezentrales Federated Learning für sichere LLM‑Fusion

Monkey Jump: Effizientes Multi-Task-Lernen ohne zusätzliche Parameter

AdaGradSelect: Adaptive Blockauswahl beschleunigt das Feintuning von SLMs

Effizientes Federated Recommendation: Plug-and-Play PEFT für Embeddings

MobileFineTuner: LLMs direkt auf Smartphones feinjustieren – Open-Source-Framework

GRASP: Neue PEFT-Methode reduziert Parameter um zehnfach und steigert Robustheit

TinyLLM: Kleine Sprachmodelle meistern Agentenaufgaben auf Edge-Geräten

GateRA: Tokenbasierte Modulation für effizientes Feintuning von Parametern

Neues Finetuning-Verfahren verbessert mathematisches Denken von KI-Modellen

LT‑Soups: Brücken bauen zwischen Kopf‑ und Schwanzklassen mit Model Soups

Mistral 7B LLM liefert mehrschichtige Analyse von Krypto-News

FedReFT: Federated Representation Fine‑Tuning mit All‑But‑Me Aggregation

PGF-Net: Gated-Fusion-Framework für effiziente multimodale Sentimentanalyse

GEM: Skalierungs‑ und Verteilungs‑Sensitivität verbessert Genauigkeit um 1,6 %

<span style="font-weight:bold;">SPANER: Multimodale Semantik vereint – neues PEFT-Framework für Cross‑Modal‑Retrieval</span>

Naive LoRA‑Summation: Orthogonalität nutzt effizientes Modulare Lernen

🍪 Cookie-Einstellungen

GEM: Skalierungs‑ und Verteilungs‑Sensitivität verbessert Genauigkeit um 1,6 %