KI News: Kurz und klar.

Die neueste Veröffentlichung auf arXiv (2602.00116v1) stellt THDC – Trainable Hyperdimensional Computing – vor, ein Verfahren, das Hyperdimensional Computing (HDC) durch Backpropagation vollständig trainierbar macht. Traditionelles HDC nutzt ultra‑hohe Dimensionalitäten und zufällig initialisierte Hypervektoren, was die Speicher‑ und Lernkapazität einschränkt. THDC ersetzt diese statischen Vektoren durch lernbare Einbettungen und integriert ein ein‑schichtiges binäres neuronales Netzwerk, um Klassendarstellungen zu optimieren.

Ein neues Verfahren namens Supervised Contrastive Parallel Learning (SCPL) verspricht, die Trainingsgeschwindigkeit großer neuronaler Netzwerke drastisch zu erhöhen. Durch die Entkopplung des klassischen Backpropagation-Algorithmus werden lange Gradientendurchläufe in mehrere kurze, gleichzeitig berechnbare Schritte zerlegt. Das Ergebnis ist ein deutlich verbessertes Modellparallelism, das die Rechenleistung effizienter nutzt und die Durchsatzrate des Trainings erheblich steigert.

Wissenschaftler aus dem Bereich der neurowissenschaftlich inspirierten Lernalgorithmen haben einen wichtigen Durchbruch erzielt: Durch ein gezieltes Initialisieren der Neuronen in Predictive Coding Netzwerken lassen sich die bislang hohen Rechenkosten drastisch senken. Das neue Verfahren nutzt die bereits erzielten Fortschritte aus vorherigen Trainingsschritten und überträgt sie auf die aktuelle Iteration.

Der Backpropagation-Algorithmus hat die Entwicklung tiefer neuronaler Netze maßgeblich vorangetrieben, doch seine mangelnde biologische Plausibilität und der hohe Rechenaufwand haben die Suche nach Alternativen befeuert. Hebb'sches Lernen gilt als vielversprechende, biologisch plausiblere Alternative, doch die ausschließliche Nutzung lokaler Informationen ohne Berücksichtigung globaler Aufgabenziele schränkt seine Skalierbarkeit stark ein.

In der Welt der tiefen neuronalen Netze, die aus linearen Transformationen und positiv homogenen Nichtlinearitäten wie ReLU bestehen, gilt eine fundamentale Symmetrie: die Netzfunktion bleibt unverändert, wenn die Parameter an jedem Knotenpunkt diagonal skaliert werden. Diese Eigenschaft, die als Gauge‑Symmetrie bezeichnet wird, wird jedoch von herkömmlichen Gradientenabstiegsverfahren nicht berücksichtigt, was dazu führt, dass Optimierungswege stark von willkürlichen Parametrierungen abhängen.

Neural‑Netzwerke wirken häufig wie schwarze Boxen – ihre inneren Abläufe sind für den Anwender oft undurchsichtig. In diesem Beitrag zeigen wir, wie man einen Regressor komplett aus dem Grund in Excel aufbaut, ausschließlich mit Formeln.

In einer neuen Studie auf arXiv wird gezeigt, dass neuronale Netzwerke nicht nur Aufgaben lösen, sondern auch ihre internen Repräsentationen eindeutig codieren können. Die Forscher haben ein Informations­theoretisches Maß entwickelt, das die „Repräsentations­ambigu­ität“ als bedingte Entropie H(I|R) definiert – also die Unsicherheit darüber, welche Interpretation I zu einer gegebenen Repräsentation R gehört.

Ein neues neuronales Netzwerk namens T‑SKM‑Net hat die Art und Weise revolutioniert, wie lineare Ungleichungssysteme in sicherheitskritischen Anwendungen gelöst werden. Durch die Kombination des Sampling‑Kaczmarz‑Motzkin‑Verfahrens (SKM) mit einem trainierbaren Framework kann das System komplexe Mischbedingungen – sowohl Gleichungen als auch Ungleichungen – in reine Ungleichungen überführen, effizient lösen und anschließend die Ergebnisse zurück in den ursprünglichen Lösungsraum transformieren.

Predictive Coding (PC) ersetzt das herkömmliche globale Backpropagation durch eine lokale Optimierung von Gewichten und Aktivierungen. In der neuen Studie wird gezeigt, dass lineare PC‑Netze sich elegant als zellulare Sheaves darstellen lassen.

Ein neues Verfahren zur unabhängigen Komponentenanalyse (ICA) wurde auf arXiv veröffentlicht. Der Ansatz nutzt stochastische Optimierung und integriert Mehrfachüberwachung, die in vielen wissenschaftlichen Anwendungen vorkommt.

Ein neues Verfahren namens Pi-Net wurde vorgestellt, das in neuronalen Netzwerken eine Ausgabeschicht integriert, die garantiert, dass konvexe Nebenbedingungen erfüllt werden. Durch diese spezielle Architektur können Modelle direkt in die Lösung von Optimierungsproblemen eingebettet werden, ohne dass zusätzliche Post‑Processing‑Schritte nötig sind.