RL‑Post‑Training: Wie Lern‑Dynamik die Sprachmodelle verändert Reinforcement‑Learning‑Post‑Training (RL‑Post‑Training) gilt als entscheidender Schritt in der Entwicklung moderner Sprachmodelle. Durch gezielte Optimierung werden Alignment‑ und Reasoning‑Fähigkeiten verbessert, doch bleibt ein Phänomen wenig verstanden: die stark abnehmende Vielfalt der generierten Texte. arXiv – cs.LG 09.01.2026 05:00
Neues Paper enthüllt quadratische Extrapolation im Neural Tangent Kernel In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass ReLU‑MLPs bei Auswertungen außerhalb ihres Trainingsbereichs tendenziell linear extrapolieren. Während die Mechanismen hinter dieser Linearität bereits gut untersucht sind, bleibt die Frage, wie sich Modelle im speziellen Fall der Nähe zum Ursprung verhalten, bislang weitgehend unerforscht. arXiv – cs.LG 19.12.2025 05:00
Neue Initialisierung verbessert Gradientenkontrolle bei sinusoidalen Netzwerken Forscher haben eine neue Initialisierungsmethode für neuronale Netzwerke mit sinusoidalen Aktivierungsfunktionen wie SIREN vorgestellt. Die Technik zielt darauf ab, Gradientenschwankungen zu steuern und die Skalierung der Gradienten mit der Tiefe des Netzes zu optimieren, was entscheidend für stabile Trainingsläufe ist. arXiv – cs.LG 09.12.2025 05:00
Neues dynamisches Modell verbessert Implicit Neural Representations Implicit Neural Representations (INRs) haben sich als leistungsstarkes Werkzeug für die Modellierung komplexer visueller und geometrischer Signale etabliert. Ein langjähriges Problem bleibt jedoch die sogenannte Spectral Bias, die die Erfassung hochfrequenter Details erschwert. Mit dem neuen Ansatz Dynamical Implicit Neural Representations (DINR) wird dieses Hindernis überwunden, indem die Feature‑Entwicklung nicht mehr als diskrete Stapelung von Schichten, sondern als kontinuierliches dynamisches System behandelt wird. arXiv – cs.LG 01.12.2025 05:00
NTK-gesteuertes Implicit Neural Teaching beschleunigt INRs um 50 % Implicit Neural Representations (INRs) nutzen neuronale Netze, um kontinuierliche Signale kompakt und resolutionsunabhängig darzustellen – ideal für Bilder, Audio und 3D‑Rekonstruktionen. Doch bei hochauflösenden Daten muss das Modell über Millionen von Koordinaten optimiert werden, was enorme Rechenkosten verursacht. arXiv – cs.LG 20.11.2025 05:00
Schnelle NTK-Analyse: Trace-Schätzung liefert Norm, Rang und Alignment Der Neural Tangent Kernel (NTK) beschreibt, wie sich der Zustand eines Modells während des Gradient Descent verändert. Die vollständige NTK‑Matrix zu berechnen ist jedoch oft unpraktisch, besonders bei rekurrenten Architekturen. In der neuen Arbeit wird ein matrixfreier Ansatz vorgestellt, der mithilfe von Trace‑Schätzungen die empirische, endliche NTK schnell analysiert. arXiv – cs.LG 17.11.2025 05:00
Neuer NTK-Ansatz verbindet tiefe neuronale Netze mit Deep Neural Kernels Ein neues Forschungsergebnis aus dem Bereich des Deep Learning eröffnet einen wichtigen Schritt zur theoretischen Fundierung von überparametrisierten neuronalen Netzwerken. Der Ansatz, der als „depth‑induced NTK“ bezeichnet wird, nutzt eine Shortcut‑basierte Architektur, um die Tiefe eines Netzes in die Berechnung des Neural Tangent Kernel (NTK) einzubeziehen. arXiv – cs.LG 11.11.2025 05:00
