KIP-Veröffentlichungen

Das Lernen von Verzögerungen ist ein entscheidender Schritt zur Verbesserung der zeitlichen Verarbeitungsfähigkeiten von spikenden neuronalen Netwerken. Dadurch lassen sich komplexere Probleme lösen, die sich vor allem durch eine zeitliche Struktur auszeichnen und bei denen präzise Zeiten wichtig sind, wie zum Beispiel Spracherkennung oder Sinnesverarbeitung. In dieser Arbeit wird der EventProp Algorithmus auf die Berechnung von exakten Gradienten von synaptischen Verzögerungen ausgeweitet. Event-basierte Methoden für den Forward Pass sowie den Backward Pass beim Trainieren von spikenden neuronalen Netzen bieten großes Potential, wenn es darum geht, energieeffiziente Lösungen zu finden. Außerdem passt dies sehr gut zu ereignisgesteuerter neuromorpher Hardware wie BrainScaleS-2. Die Methode zum Lernen von Verzögerungen wird ereignisbasiert in der Python-Bibliothek jaxsnn implementiert. Dies wird verwendet, um ein Modell auf dem Yin-Yang-Datensatz zu trainieren. Außerdem wird die jaxsnn Bibliothek zur Unterstützung von Machine Learning für arbiträre Topologien erweitert und eine Methode zum Aufschreiben von beliebig zusammensetzbaren Netzwerken eingeführt. Dabei werden auch rekurrente Netze mit Feedback-Verbindungen unterstützt. Dies wird schließlich in einigen kleinen Beispielen veranschaulicht.

Delay learning in spiking neural networks is a critical step in enhancing the network's temporal processing capabilities. It allows for more complex problems to be solved, especially for tasks with rich temporal structure where precise timing is crucial such as speech or sensory processing. In this work the EventProp algorithm is extended to the calculation of exact gradients with respect to synaptic delays. Making use of event-based methods for both the forward and backward pass for training spiking neural networks, has high potential when it comes to exploiting sparsity and resulting efficiency gains. And it fits very well with event-driven neuromorphic hardware platforms like BrainScaleS-2. This method for delay learning is also implemented in an event-based fashion for the python library jaxsnn. Using this, a network is trained on the Yin-Yang dataset. Furthermore, the support for machine learning with arbitrary topologies is added to jaxsnn and a composable network definition paradigm is introduced. This also supports recurrent networks with feedback connections. These features will be displayed in simple examples, which also make use of the EventProp method for the delay case.