KIP publications

year 2021
author(s) Oliver Julien Breitwieser
title Learning by Tooling: Novel Neuromorphic Learning Strategies in Reproducible Software Environments
KIP-Nummer HD-KIP 21-78
KIP-Gruppe(n) F9
document type Dissertation
doi 10.11588/heidok.00030261
Abstract (de)

Neuromorphe Hardware ermöglicht neuartige Rechenparadigmen. Hierzu stellen wir zwei innovative Lernstrategien vor: Zum einen führen wir Spike-basiertes Deep Learning mit LIF-Neuronen in einem Time-To-First-Spike Kodierungsschema durch, das sich darauf konzentriert, Klassifizierungsergebnisse mit so wenigen Spikes so schnell wie möglich zu erreichen. Dies ist entscheidend für biologische Akteure, die unter Umgebungsdruck schnelle Reflexe benötigen bei gleichzeitiger Energieeffizienz. Wir leiten exakte Lernregeln ab und führen Backpropagation mit Spike-Zeiten von LIF-Neuronen sowohl in Software als auch auf der BrainScaleS-Hardwareplattform durch. Zum anderen präsentieren wir schnelle energieeffiziente analoge Inferenz auf BrainScaleS-2. In diesem nicht-spikenden Modus verwenden wir CNNs zur Überprüfung medizinischer EKG-Daten auf Vorhofflimmern. Das neu in Betrieb genommene BrainScaleS-2 Mobilsystem hat dabei erfolgreich am Wettbewerb ``Energieeffizientes KI-System'' des Bundesministeriums für Bildung und Forschung teilgenommen und bewiesen, dass es zuverlässig arbeitet. Diese neuen Rechenparadigmen von Grund auf zu entwickeln ist eine Herkulesaufgabe in Bezug auf den erforderlichen Arbeitsaufwand und die Menge an beteiligten Personen. Daher stellen wir Methoden vor, die kollaborative Entwicklung sowie Einsatz von wissenschaftlicher Software ermöglichen. Insbesondere konzentrieren wir uns auf die explizite Verfolgung getrennter Gruppen von Software-Abhängigkeiten mittels Spack, einem existierenden Paketmanager für Hochleistungsrechnen. Sie werden als monolithische Singularity-Container in einem kontinuierlichen Veröffentlichungsschema nach gründlicher Überprüfung bereitgestellt. Diese Praktiken ermöglichen es uns die Entwicklung unserer neuromorphen Plattform voranzutreiben und gleichzeitig die Reproduzierbarkeit von Experimenten zu fördern, ein noch nicht gelöstes Problem in den softwaregestützten Wissenschaften. Durch die Einführung von quiggeldy, einem Micro-Scheduling-Service, der die verschachtelte Ausführung von Experimentschritte verschiedener Nutzer ermöglicht, erreichen wir bessere Hardware-Interaktivität, Stabilität und Experimentdurchsatz.

Abstract (en)

Neuromorphic hardware enables novel modes of computation. We present two innovative learning strategies: First, we perform spike-based deep learning with LIF neurons in a Time-To-First-Spike coding scheme that focuses on achieving classification results with as few spikes as early as possible. This is critical for biological agents operating under environmental pressure, requiring quick reflexes while conserving energy. Deriving exact learning rules, we perform backpropagation on spike-times of LIF neurons in both software and on the BrainScaleS hardware platform. Second, we present fast energy-efficient analog inference on BrainScaleS-2. In this non-spiking mode, we use convolutional neural networks to check medical ECG traces for atrial fibrillation. The newly commissioned BrainScaleS-2 Mobile system has successfully participated and proven to operate reliably in the ``Energy-efficient AI system'' competition held by the German Federal Ministry of Education and Research. Developing these new computing paradigms from the ground up is a Herculean effort in terms of work required and people involved. Therefore, we introduce tooling methods to facilitate collaborative scientific software development and deployment. In particular, we focus on explicitly tracking disjoint sets of software dependencies via Spack, an existing package manager aimed at high performance computing. They are deployed as monolithic Singularity containers in a rolling-release schedule after thorough verification. These practices enable us to confidently advance our neuromorphic platform while fostering reproducibility of experiments, a still unsolved problem in software-aided sciences. By introducing quiggeldy, a micro-scheduling service operating on interleaved experiment-steps by different users, we achieve better hardware interactivity, stability and experiment throughput.

bibtex
@phdthesis{breitwieser2021phd,
  author   = {Oliver Julien Breitwieser},
  title    = {Learning by Tooling: Novel Neuromorphic Learning Strategies in Reproducible Software Environments},
  school   = {Universit├Ąt Heidelberg},
  year     = {2021}
}
URL HeiDOK
KIP - Bibliothek
Im Neuenheimer Feld 227
Raum 3.402
69120 Heidelberg