Neues Programmierparadigma: Lineare Neuronen kompiliert aus Cajal

In der Welt der künstlichen Intelligenz wird bislang meist ein indirekter Ansatz verfolgt, bei dem Lernalgorithmen wie Gradientenabstieg die Funktionsweise eines neuronalen Netzwerks aus Daten bestimmen.

Dieser Ansatz hat zwar große Erfolge erzielt, doch er fehlt an diskreter Struktur. Viele klassische Algorithmen lassen sich nicht direkt in ein neuronales Netzwerk übersetzen, weil sie nicht differenzierbar sind und somit nicht mit Gradientenverfahren kompatibel sind.

Um dieses Hindernis zu überwinden, präsentiert die Forschungsgruppe das neue, typsichere, höherwertige und lineare Programmiersprachen-Framework Cajal. Cajal ermöglicht es, neuronale Netzwerke in einem direkten Stil zu programmieren.

Die Autoren zeigen, dass Programme in Cajal kompiliert werden können, sodass sie als lineare Neuronen ausgeführt werden. Damit lassen sich diskrete Algorithmen in eine differenzierbare Form bringen, die mit Gradientenlernen zusammenarbeitet.

Mit einer eigenen Implementierung von Cajal wurden mehrere Experimente durchgeführt, bei denen lineare Neuronen mit bestehenden Netzwerken verknüpft wurden, um einen Teil ihrer Funktion bereits vor dem Lernen festzulegen. Diese Verknüpfung beschleunigt das Lernen, erhöht die Daten­effizienz und erleichtert das Debugging.

Die Arbeit zeigt, dass lineare Programmiersprachen einen vielversprechenden Weg eröffnen, neuronale Netzwerke direkt zu programmieren und dabei die Vorteile von Lernalgorithmen mit der Struktur klassischer Programmierung zu verbinden.