year | 2017 |
author(s) | Johann Klähn |
title | Training Functional Networks on Large-Scale Neuromorphic Hardware |
KIP-Nummer | HD-KIP 17-126 |
KIP-Gruppe(n) | F9 |
document type | Masterarbeit |
Abstract (de) | Das BrainScaleS-Hardwaresystem ist eine beschleunigte neuromorphe Plattform, die basierend auf Mixed-Signal-Schaltungen eine effiziente Umgebung zur Analyse von spikenden neuronalen Netzen zur Verfügung stellt. Zur Verwendung des Systems sind mehrere Abstraktionsebenen vonnöten. Gleichzeitig ist der Zugriff auf einzelne Hardwareeinstellungen notwendig, um das volle Potential des Systems auszuschöpfen. Im Rahmen dieser Arbeit werden Änderungen an der Betriebssoftware beschrieben, die erstmals die Umsetzung von iterativem Offline-Lernen unter Verwendung einer High-Level-Beschreibung des Experiments erlauben.Die daraus resultierenden Möglichkeiten werden schließlich zur Verwirklichung zweier Experimente genutzt. Zunächst wird eine Methode zur Umsetzung von LIF-Sampling auf dem System vorgestellt, die im Vergleich zu früheren Ansätzen eine geringere Variation zwischen Einzelexperimenten aufweist und eine höhere Experimentrate erlaubt. Der resultierende Arbeitspunkt der Neuronen stellt eine wesentliche Voraussetzung für Neural Sampling dar. Desweiteren wird eine Methode zur Klassifizierung von handgeschriebenen Ziffern vorgestellt, bei der ein trainiertes künstliches neuronales Netz in ein auf der Plattform simuliertes Netz von LIF-Neuronen übersetzt wird. Entscheidend für eine hohe Klassifizierungsgenauigkeit ist eine zusätzliche iterative Trainingsphase, in der die aufgezeichnete Aktivität der Hardware genutzt wird, um aktualisierte Parameter zu berechnen. Dazu wird das künstliche neuronale Netz als grobes Modell der Hardware im Backpropagation-Algorithmus genutzt. Es wird gezeigt, dass diese In-The-Loop-Trainingsmethode einen wichtigen Schritt zum robusten Betrieb der Plattform darstellt. |
Abstract (en) | The BrainScaleS system is an accelerated mixed-signal neuromorphic hardware platform that provides an efficient environment for exploring functional spiking neural networks. Use of the hardware requires several layers of abstraction. At the same time, low-level access to all hardware features is necessary to fully unleash the potential of the system. In this thesis changes to the operating software are described, which, for the first time, allow the implementation of iterative offline learning using a high-level description language. The new opportunities offered by these changes are then exploited for two experiments. First, an approach to LIF sampling on the system is presented that improves upon previous implementations by reducing trial-to-trial variations and allowing a greater rate of experiments. The resulting operating point of the neuron fulfills an essential prerequisite for neural sampling. Secondly, a method is introduced to classify handwritten digits by translating a trained artificial neural network to a network of spiking LIF neurons emulated on the platform. Key to high classification accuracies is an additional iterative training phase where training is continued based on network activity recorded in hardware, using the artificial neural network as a coarse model during calculation of parameter updates via error backpropagation. It is demonstrated that this in-the-loop training method constitutes an important step towards robust operation of the platform. |
bibtex | @mastersthesis{klaehn2017, author = {Klähn, Johann}, title = {Training Functional Networks on Large-Scale Neuromorphic Hardware}, school = {Universität Heidelberg}, year = {2017}, type = {Master} } |