KI News: Kurz und klar.

In der Welt der datengetriebenen Modelle ist der Shapley-Wert ein bewährtes Werkzeug zur Bewertung von Daten und zur Attribution von Merkmalen. Doch bisher wurde dabei immer angenommen, dass alle Beitragenden gleichwertig und austauschbar sind – ein Ansatz, der bei abhängigen Daten oder bei unterschiedlichen Vertrauens- und Risikofaktoren zu Ungenauigkeiten führen kann.

Die neueste Veröffentlichung auf arXiv (2602.00116v1) stellt THDC – Trainable Hyperdimensional Computing – vor, ein Verfahren, das Hyperdimensional Computing (HDC) durch Backpropagation vollständig trainierbar macht. Traditionelles HDC nutzt ultra‑hohe Dimensionalitäten und zufällig initialisierte Hypervektoren, was die Speicher‑ und Lernkapazität einschränkt. THDC ersetzt diese statischen Vektoren durch lernbare Einbettungen und integriert ein ein‑schichtiges binäres neuronales Netzwerk, um Klassendarstellungen zu optimieren.

Eine aktuelle Studie auf arXiv präsentiert einen innovativen Ansatz, um die wichtigsten Verbindungen in neuronalen Netzwerken (NN) zu identifizieren. Anstatt klassische Informationstheorie zu verwenden, setzt die Arbeit auf die Ollivier‑Ricci‑Krümmung (ORC), ein Konzept aus der Graphentheorie, das bereits in Bereichen wie Verkehrs- und Sozialnetzwerken erfolgreich eingesetzt wurde.

Der neu veröffentlichte Beitrag auf arXiv (2512.17531v1) präsentiert einen innovativen Ansatz zur Optimierung von Forward-Only-Neural‑Netzwerken. Durch die Einführung von Collaborative Forward-Forward (CFF) Learning wird das klassische Forward-Forward‑Modell erweitert, indem die einzelnen Schichten nicht mehr isoliert, sondern gemeinsam an einer globalen Gütefunktion arbeiten.

Ein neues arXiv‑Preprint zeigt, dass beim Training tiefer neuronaler Netzwerke Phase‑Übergänge auftreten, die eine klare hierarchische Struktur im Verlust‑ und Fehlerlandscape offenbaren.

In einer bahnbrechenden Veröffentlichung auf arXiv wird ein innovatives Verfahren vorgestellt, das neuronale Repräsentationslernen mit algebraischen Beschränkungen aus der Zahlentheorie verbindet. Inspiriert von Bhargava-Würfeln werden Eingabedaten in einen dreidimensionalen, stark regulierten latenten Raum abgebildet, in dem die Embeddings gezielt quadratische Beziehungen erfüllen, die aus Bhargavas kombinatorischen Strukturen abgeleitet wurden.

In einer neuen Studie auf arXiv wird gezeigt, dass neuronale Netzwerke nicht nur Aufgaben lösen, sondern auch ihre internen Repräsentationen eindeutig codieren können. Die Forscher haben ein Informations­theoretisches Maß entwickelt, das die „Repräsentations­ambigu­ität“ als bedingte Entropie H(I|R) definiert – also die Unsicherheit darüber, welche Interpretation I zu einer gegebenen Repräsentation R gehört.

In der Welt des selbstüberwachten Lernens (Self‑Supervised Learning, SSL) hat sich kürzlich ein innovatives Konzept etabliert, das die lokale Geometrie von Datenmengen gezielt in den Fokus rückt. Das Verfahren, genannt CurvSSL, ergänzt die üblichen Invarianz‑ und Redundanz‑Reduktionsziele um einen Krümmungs‑Regularisierer, der die Form des Daten­manifolds berücksichtigt.

Ein neues Verfahren aus der KI-Forschung verspricht, die Art und Weise zu verändern, wie Wissenschaftler hochdimensionale Daten untersuchen. Durch die Kombination von latenter Flussabgleichung und classifier‑free Guidance trennt die Methode gezielt die Informationen, die in einer Bedingung enthalten sind, von denen, die im Rest der Repräsentation verbleiben.

Aktivierungsfunktionen sind das Herzstück von Deep‑Learning‑Modellen, denn sie ermöglichen nichtlineare Darstellungen. Die weit verbreitete ReLU (Rectified Linear Unit) hat jedoch ein bekanntes Problem: Neuronen, die dauerhaft negative Eingaben erhalten, werden zu „toten“ Neuronen und blockieren den Gradientenfluss. Um dieses Problem zu lösen, wurde N‑ReLU (Noise‑ReLU) entwickelt – eine stochastische Variante, die negative Aktivierungen durch zentrierte Gauß‑Rauschen ersetzt, ohne den Erwartungswert der Ausgabe zu verändern.

Ein neues Modell, der Multivariate Variational Autoencoder (MVAE), wurde auf arXiv vorgestellt und verspricht, die Vorteile der klassischen VAE-Architektur zu erhalten, während gleichzeitig die Beschränkung auf diagonale Posterior-Kovarianzen aufgehoben wird. Durch die Faktorisierung jeder Posterior-Kovarianz in eine globale Kopplungsmatrix und per‑Sample-Diagonal‑Skalen erzeugt der MVAE eine volle Kovarianzfamilie, die analytisch berechenbare KL‑Divergenzen und eine effiziente Reparametrisierung ermöglicht.

Ein neues multimodales Explainable AI (XAI)-Framework wurde vorgestellt, das die Zuverlässigkeit von Convolutional Neural Networks (CNNs) in sensiblen Anwendungen deutlich verbessert. Durch die Kombination von attention‑augmentierter Feature‑Fusion, Grad‑CAM++‑basierten lokalen Erklärungen und einem Reveal‑to‑Revise‑Feedback‑Loop kann das System nicht nur hochpräzise Vorhersagen treffen, sondern auch versteckte Biases in den Daten erkennen und reduzieren.

Ein neues Initialisierungskonzept für tiefe ReLU‑Netze wurde vorgestellt, das die Trainingsstabilität deutlich verbessert. Durch die Optimierung einer orthogonalen Initialisierung auf der Stiefel‑Mannigfaltigkeit werden sowohl die Skalierung als auch die Voraktivierungsstatistiken von Anfang an kontrolliert. Das Verfahren verhindert das häufige Problem der „dying ReLU“ und reduziert die Abnahme der Aktivierungsvarianz, wodurch Gradient‑Vanishing‑Probleme gemildert werden.

Ein neues Verfahren namens Model Merging of Natural Niches (M2N2) verspricht, die Art und Weise, wie mehrere KI‑Modelle zu einem einzigen zusammengeführt werden, grundlegend zu verändern. M2N2 nutzt einen evolutionären Ansatz, der drei zentrale Innovationen kombiniert: Erstens passen sich die Grenzen für das Zusammenführen der Modellparameter dynamisch an, wodurch ein breiteres Spektrum an Kombinationen erforscht werden kann. Zweitens sorgt ein von der natürlichen Konkurrenz inspirierter Mechanismus dafür, dass die Population aus vielfältigen, leistungsfähigen Modellen besteht, die besonders gut für die Fusion geeignet sind. Drittens wird ein heuristisches Anziehungsmaß verwendet, um die vielversprechendsten Modellpaare zu identifizieren.

Neues arXiv‑Paper (ID 2508.11432v1) zeigt, wie Convolutional Neural Ordinary Differential Equations (NODEs) durch kontraktive Regularisierung robuster gegen Eingaberauschen und Angriffe werden können. Die Autoren nutzen die Theorie der Kontraktion, die garantiert, dass zwei Trajektorien eines dynamischen Systems, die aus unterschiedlichen Startwerten starten, sich exponentiell annähern. Dadurch bleiben die Ausgaben eines kontraktiven NODEs bei kleinen Störungen stabil.