Suche nach Gradientenabstieg

Neues Riemannian-Optimierungsverfahren verbessert modulare Systeme

Ein neues arXiv‑Veröffentlichung (2603.03610v1) liefert einen bedeutenden Fortschritt in der Optimierung von Systemen, die aus modularen Ba…

arXiv – cs.LG 05.03.2026 05:00

Forschung

Graph Hopfield Networks: Energiebasierte Knotenkategorisierung mit Gedächtnis

Die neu vorgestellte Methode Graph Hopfield Networks kombiniert in einer einzigen Energiefunktion assoziatives Gedächtnis mit der Glättung…

arXiv – cs.LG 05.03.2026 05:00

Forschung

Fixierte Pole in RNNs: Effizientere Online-Training für Echtzeit-Anwendungen

Eine neue Untersuchung auf arXiv beleuchtet, warum das Lernen der Pole in rekurrenten neuronalen Netzen (RNNs) bei Echtzeit-Online-Training…

arXiv – cs.LG 26.02.2026 05:00

Forschung

Neues Paradigma: Nichtparametrisches Unterrichten von Attention‑Lernern

Attention‑Learner, wie Transformer‑Netze, sind besonders gut darin, komplexe Zusammenhänge zwischen Sequenzen und ihren Eigenschaften zu er…

arXiv – cs.LG 25.02.2026 05:00

Forschung

Bayessche Optimierung von In-Context Learning mit selektiven Zustandsräumen

In einer kürzlich veröffentlichten Arbeit auf arXiv (2602.17744v1) stellen die Autoren ein neues Prinzip vor, das In-Context Learning (ICL)…

arXiv – cs.LG 23.02.2026 05:00

Forschung

DCER: Kompression & energiesbasierte Rekonstruktion für multimodale Fusion

Die neu vorgestellte Methode DCER (Dual-Stage Compression and Energy-Based Reconstruction) löst zwei zentrale Schwachstellen der multimodal…

arXiv – cs.LG 06.02.2026 05:00

Forschung

TextBFGS: Quasi-Newton-Optimierung für diskrete Texte via Gradient-Operator

Die neueste Veröffentlichung auf arXiv (2602.00059v1) stellt TextBFGS vor – ein Quasi-Newton-Framework, das die Optimierung von diskreten…

arXiv – cs.LG 03.02.2026 05:00

Praxis

Kornia: Differenzierbare Vision mit Geometrieoptimierung, LoFTR & GPU‑Augmentierungen

In einem neuen Tutorial demonstriert das Team, wie man mit Kornia und PyTorch eine vollständig differenzierbare Computer‑Vision‑Pipeline au…

MarkTechPost 30.01.2026 07:24

Forschung

Neuer Ansatz: Globale Optimierung via Gradient aus Score-Matching-Spaces

Forscher haben einen bahnbrechenden Ansatz vorgestellt, der die Grenzen herkömmlicher Gradientenabstiegsverfahren sprengt. Durch die Kombin…

arXiv – cs.LG 21.01.2026 05:00

Forschung

Neuer Ansatz: Einheitlich konsistente Adjoint-Methoden für Deep Learning

In der Welt der tiefen neuronalen Netze, die aus linearen Transformationen und positiv homogenen Nichtlinearitäten wie ReLU bestehen, gilt…

arXiv – cs.LG 19.01.2026 05:00

Forschung

SGD nutzt transienten Lernfluss, um scharfe Täler zu verlassen

Stochastische Gradientenabstiegsverfahren (SGD) bilden das Herzstück moderner Deep‑Learning‑Modelle. Trotz ihrer weiten Verbreitung bleibt…

arXiv – cs.LG 19.01.2026 05:00

Forschung

Neues DRO-Modell vereint Kausalität und Kontinuität für interpretierbare Entscheidungen

In einer wegweisenden Veröffentlichung präsentiert ein Forschungsteam ein neues Framework für die kontextuelle Distributionally Robust Opti…

arXiv – cs.AI 19.01.2026 05:00

Forschung

RoPE erklärt das Slash-Muster in Attention: Warum es entsteht

Große Sprachmodelle zeigen häufig ein auffälliges „Slash‑Muster“ in ihren Aufmerksamkeitswerten: die Scores konzentrieren sich entlang eine…

arXiv – cs.LG 14.01.2026 05:00

Forschung

Neuer Ansatz für Riemannische Zeroth-Order-Optimierung auf unvollständigen Mannigfaltigkeiten

In einer wegweisenden Studie wird die Riemannische Zeroth-Order-Optimierung auf Mannigfaltigkeiten untersucht, deren zugrunde liegende Metr…

arXiv – cs.LG 14.01.2026 05:00

Forschung

Neuer Algorithmus liefert schnelle, hochwertige Anticlustering in großen Datensätzen

Das Anticlustering‑Problem besteht darin, eine Menge von Objekten in K gleich große Anticlusters aufzuteilen, sodass die Summe der Abstände…

arXiv – cs.LG 13.01.2026 05:00

Forschung

Vekua-Layer: Präzise physikbasierte neuronale Darstellungen

Ein neues Verfahren namens Vekua Layer (VL) verspricht, die Art und Weise zu revolutionieren, wie physikalische Felder mit neuronalen Netze…

arXiv – cs.LG 15.12.2025 05:00

Forschung

Neues Modell erklärt Skalierungsgesetze im Deep Learning

Wissenschaftler haben ein einheitliches, operatorbasiertes Modell entwickelt, das die Trainingsdynamik moderner neuronaler Netze aus der Pe…

arXiv – cs.LG 12.12.2025 05:00

Forschung

Quanten-Schaltkreis-Modelle ermöglichen differenzierbare logische Inferenz

Ein neuer Ansatz aus dem Bereich der Quanteninformatik, die sogenannten Quantum Circuit Reasoning Models (QCRM), erweitert die bisher auf E…

arXiv – cs.AI 10.12.2025 05:00

Forschung

<h1>Wann profitieren Deep‑Learning‑Modelle von spektralen Gradientenupdates?</h1> <p>In der Welt des Deep Learning haben spektrale Gradientenmethoden – darunter der neu aufgelegte Muon‑Optimizer – großes Interesse geweckt. Sie stellen eine Alternative zum klassischen euklidischen Gradientenabstieg dar, doch bislang war unklar, in welchen Situationen sie tatsächlich überlegen sind.</p> <p>Die neue Studie liefert dafür eine klare Antwort: Sie führt eine einfache, schichtweise Bedingung ein, die vorhersagt, wa

arXiv – cs.LG 05.12.2025 05:00

Forschung

Neue Methode beschleunigt iterative Gaussian Processes durch Warm-Start

Ein neuer Ansatz aus dem arXiv-Preprint Improving Iterative Gaussian Processes via Warm Starting Sequential Posteriors verspricht, die Skal…

arXiv – cs.LG 21.11.2025 05:00

Forschung

JKO-Schema: Wie Wasserstein-Gradient-Flow durch Implicit Bias beeinflusst

Wasserstein‑Gradient‑Flow ist ein mächtiges Werkzeug, um Energie‑Funktionale auf dem Raum der Wahrscheinlichkeitsverteilungen zu minimieren…

arXiv – cs.AI 20.11.2025 05:00

Forschung

Neues Programmierparadigma: Lineare Neuronen kompiliert aus Cajal

In der Welt der künstlichen Intelligenz wird bislang meist ein indirekter Ansatz verfolgt, bei dem Lernalgorithmen wie Gradientenabstieg di…

arXiv – cs.LG 19.11.2025 05:00

Forschung

Neuer Algorithmus löst nicht-konvexe dezentrale Optimierung trotz stark schwankender Rauschen

Wissenschaftler haben einen bahnbrechenden Algorithmus vorgestellt, der dezentrale stochastische Bilevel-Optimierung ohne die üblichen Anna…

arXiv – cs.LG 22.09.2025 05:00

Forschung

AHTSGD: Neuer Optimierer steigert Generalisierung neuronaler Netze

In der heutigen Ära großer neuronaler Netzwerke kämpfen Optimierungsalgorithmen häufig damit, dass die Modelle zu stark auf den Trainingsve…

arXiv – cs.LG 01.09.2025 05:00

Forschung

Bi-LoRA: Effizientes Sharpness‑Aware Fine‑Tuning für große Modelle

Die Feinabstimmung von hochgradig vortrainierten Modellen mit nur wenigen Daten bleibt eine große Herausforderung. Der Ansatz Sharpness‑Awa…

arXiv – cs.LG 28.08.2025 05:00

Forschung

Reinforcement Learning initiiert Variationsquantumalgorithmen – Barren Plateaus überwunden

Variationsquantumalgorithmen (VQAs) gelten als vielversprechende Methode, um aktuelle Quantencomputer für Optimierungsaufgaben, Chemiesimul…

arXiv – cs.LG 27.08.2025 05:00

Forschung

Chunked Data Shapley: Skalierbare Qualitätsbewertung großer Datensätze

Mit dem stetig wachsenden Volumen und der Vielfalt an verfügbaren Datensätzen wird die Bewertung ihrer Qualität immer wichtiger, um zuverlä…

arXiv – cs.LG 25.08.2025 05:00

Forschung

Automatisierte Lernraten: Erklärbare Regime für stochastische Optimierung

Moderne Machine‑Learning‑Modelle werden meist mit stochastischem Gradientenabstieg (SGD) trainiert. Dabei ist die Art und Weise, wie die Le…

arXiv – cs.LG 20.08.2025 05:00

Forschung

Gating in RNNs wirkt wie adaptive Lernrate – neue dynamische Einsicht

Forscher haben herausgefunden, dass die Gating‑Mechanismen in rekurrenten neuronalen Netzwerken (RNNs) selbstständig ein adaptives Lernverh…

arXiv – cs.LG 19.08.2025 05:00

Finde Modelle, Firmen und Themen

Neues Riemannian-Optimierungsverfahren verbessert modulare Systeme

Graph Hopfield Networks: Energiebasierte Knotenkategorisierung mit Gedächtnis

Fixierte Pole in RNNs: Effizientere Online-Training für Echtzeit-Anwendungen

Neues Paradigma: Nichtparametrisches Unterrichten von Attention‑Lernern

Bayessche Optimierung von In-Context Learning mit selektiven Zustandsräumen

DCER: Kompression & energiesbasierte Rekonstruktion für multimodale Fusion

TextBFGS: Quasi-Newton-Optimierung für diskrete Texte via Gradient-Operator

Kornia: Differenzierbare Vision mit Geometrieoptimierung, LoFTR & GPU‑Augmentierungen

Neuer Ansatz: Globale Optimierung via Gradient aus Score-Matching-Spaces

Neuer Ansatz: Einheitlich konsistente Adjoint-Methoden für Deep Learning

SGD nutzt transienten Lernfluss, um scharfe Täler zu verlassen

Neues DRO-Modell vereint Kausalität und Kontinuität für interpretierbare Entscheidungen

RoPE erklärt das Slash-Muster in Attention: Warum es entsteht

Neuer Ansatz für Riemannische Zeroth-Order-Optimierung auf unvollständigen Mannigfaltigkeiten

Neuer Algorithmus liefert schnelle, hochwertige Anticlustering in großen Datensätzen

Vekua-Layer: Präzise physikbasierte neuronale Darstellungen

Neues Modell erklärt Skalierungsgesetze im Deep Learning

Quanten-Schaltkreis-Modelle ermöglichen differenzierbare logische Inferenz

Neue Methode beschleunigt iterative Gaussian Processes durch Warm-Start

JKO-Schema: Wie Wasserstein-Gradient-Flow durch Implicit Bias beeinflusst

Neues Programmierparadigma: Lineare Neuronen kompiliert aus Cajal

Neuer Algorithmus löst nicht-konvexe dezentrale Optimierung trotz stark schwankender Rauschen

AHTSGD: Neuer Optimierer steigert Generalisierung neuronaler Netze

Bi-LoRA: Effizientes Sharpness‑Aware Fine‑Tuning für große Modelle

Reinforcement Learning initiiert Variationsquantumalgorithmen – Barren Plateaus überwunden

Chunked Data Shapley: Skalierbare Qualitätsbewertung großer Datensätze

Automatisierte Lernraten: Erklärbare Regime für stochastische Optimierung

Gating in RNNs wirkt wie adaptive Lernrate – neue dynamische Einsicht

🍪 Cookie-Einstellungen