KIP publications

 
year 2020
author(s) Jakob Kaiser
title Implementation of Large Scale Neural Networks on the Neuromorphic BrainScaleS-1 System
KIP-Nummer HD-KIP 20-72
KIP-Gruppe(n) F9
document type Masterarbeit
Abstract (de)

Eine immer größere Anzahl an Neuronen und Synapsen kann durch neuromorpher Hardware implementiert werden. Um diese zunehmend komplexen Systeme effektiv betreiben zu können, muss die dazugehörige Software stetig weiterentwickelt werden. Diese Arbeit widmet sich der Weiterentwicklung des Betreibssystems des BrainScaleS-1 wafer-scale Systems mit dem Ziel, die Implementation großer neuronaler Netzwerke zu ermöglichen.

Mithilfe einer Synfire Chain untersuchen wir, welche Herausforderungen die Implementation von neuronalen Netzwerken auf neuromorpher Hardware birgt. Weiterhin präsentieren wir die Emulation einer Synfire Chain mit 190 Gliedern und 19 000 Neuronen. Mehr als 70 000 analoge Neuronen-Schaltkreise und über 1,4 Millionen Synapsen werden benötigt, um diese Kette erfolgreich zu emulieren.

Eine große Anzahl an Repeatern stellt sicher, dass Spikes zuverlässig auf dem Wafer weitergeleitet werde. Die Repeater erhalten kein globales Taktsignal, sondern leiten eine Periode aus den empfangenen Signalen ab. Nicht alle Repeater finden die richtige Periode im ersten Versuch. Indem diese Repeater wiederholt zurückgesetzt werden, kann die Anzahl an Repeatern mit einer korrekten Perioden erhöht werden. Dieses wiederholte Zurücksetzen wurde in das Betriebssystem integriert und ebnet damit den Weg für die erfolgreiche Emulation großer neuronaler Netzwerke.

Abstract (en)

Neuromorphic hardware has made great advances in recent years; consistently implementing a larger number of neurons and synapses. With the increasing complexity of such systems the demands on the accompanying software increase as well. This thesis contributes to the operating system of the wafer-scale BrainScaleS-1 neuromorphic system with the aim to facilitate the implementation of large scale neural networks.

We use a synchronous firing chain to demonstrate the challenges which arise during the implementation of neural networks on neuromorphic devices and present the emulation of a functional chain with 190 links and 19 000 neurons. More than 70 000 analog neuron circuits and 1.4 million synapses are involved in modeling the dynamics of this chain.

A high number of repeaters is needed to ensure the accurate transmission of spikes across the wafer. These repeaters recover a timing reference from incoming signals. Not all repeaters derive the correct timing in a single try. By repeatedly putting these repeaters in reset, the total number of repeaters which recover the correct timing can be increased. By implementing such a routine in the operating system, we paved the way for the successful emulation of large scale neural networks.

bibtex
@mastersthesis{Kaiser2020,
  author   = {Jakob Kaiser},
  title    = {Implementation of Large Scale Neural Networks on the Neuromorphic BrainScaleS-1 System},
  school   = {Universit\"at Heidelberg},
  year     = {2020},
  type     = {Masterarbeit}
}
Datei pdf
up
KIP - Bibliothek
Im Neuenheimer Feld 227
Raum 3.402
69120 Heidelberg