KIP publications

year 2020
author(s) Dold, Dominik
title Harnessing function from form: towards bio-inspired artificial intelligence in neuronal substrates
KIP-Nummer HD-KIP 21-16
KIP-Gruppe(n) F9
document type Dissertation
Keywords spiking neural networks, statistical physics, machine learning
Abstract (de)

Trotz der jüngsten Erfolge im Bereich Deep Learning ist das Gehirn der Säugetiere immer noch ungeschlagen im Verarbeiten komplexer, hochdimensionaler Datenströme wie visuelle, auditive und somatosensorische Stimuli. Die zugrundeliegenden Rechenprinzipien, die es dem Gehirn ermöglichen mit unzuverlässigen, hochdimensionalen und oft unvollständigen Daten umzugehen, während eine Leistung in der Größenordnung weniger Watt verbraucht wird, sind jedoch noch größtenteils unbekannt. In dieser Arbeit untersuchen wir, wie aus im Kortex von Säugetieren vorkommenden Strukturen Funktionalität hervorgeht, und wie diese in Nicht-von-Neumann-Geräten wie “neuromorpher Hardware” Anwendung finden könnte. Zuerst zeigen wir, dass Ensembles aus deterministischen, spikenden neuronalen Netzen, durch eine lokale Lernregel trainiert, Bayessche Inferenz implementieren. Dies deutet auf ein Codierungsschema hin, bei dem Spikes (oder “Aktionspotentiale”) Stichproben einer A-posteriori-Verteilung darstellen – ohne dass eine Quelle für Stochastizität erforderlich ist. Darüberhinaus führen wir ein theoretisches Konzept ein welches die Herleitung neuronaler und synaptischer Dynamik durch ein Wirkungsfunktional sowie gradientenbasierter Minimierung ermöglicht. Vereint approximiert die neurosynaptische Dynamik Fehlerrückpropagation in Echtzeit und lässt sich auf mechanistische Komponenten des Kortex abbilden, deren Dynamik wieder durch dieselben Konzepte beschrieben werden kann. Die vorgestellten Modelle reduzieren die Diskrepanz zwischen wohldefinierten, funktionalen Algorithmen und deren biophysikalischer Implementierung, was zu einem verbesserten Verständnis der Rechenprinzipien, die das Gehirn anwenden könnte, führt. Darüber hinaus sind diese Modelle ideale Kandidaten für Hardware Systeme, welche die massiv parallele neuronale Struktur des Gehirns nachahmen und eine stark beschleunigte und energieeffiziente Realisierung leistungsfähiger Lern- und Inferenzalgorithmen versprechen – was wir für das physikalische Modellsystem “BrainScaleS–1” demonstrieren.

Abstract (en)

Despite the recent success of deep learning, the mammalian brain is still unrivaled when it comes to interpreting complex, high-dimensional data streams like visual, auditory and somatosensory stimuli. However, the underlying computational principles allowing the brain to deal with unreliable, high-dimensional and often incomplete data while having a power consumption on the order of a few watt are still mostly unknown. In this work, we investigate how specific functionalities emerge from simple structures observed in the mammalian cortex, and how these might be utilized in non-von Neumann devices like “neuromorphic hardware”. Firstly, we show that an ensemble of deterministic, spiking neural networks can be shaped by a simple, local learning rule to perform sampling-based Bayesian inference. This suggests a coding scheme where spikes (or “action potentials”) represent samples of a posterior distribution, constrained by sensory input, without the need for any source of stochasticity. Secondly, we introduce a top-down framework where neuronal and synaptic dynamics are derived using a least action principle and gradient-based minimization. Combined, neurosynaptic dynamics approximate real-time error backpropagation, mappable to mechanistic components of cortical networks, whose dynamics can again be described within the proposed framework. The presented models narrow the gap between well-defined, functional algorithms and their biophysical implementation, improving our understanding of the computational principles the brain might employ. Furthermore, such models are naturally translated to hardware mimicking the vastly parallel neural structure of the brain, promising a strongly accelerated and energy-efficient implementation of powerful learning and inference algorithms, which we demonstrate for the physical model system “BrainScaleS–1”.

bibtex
@phdthesis{dold2020harnessing,
  author   = {Dold, Dominik},
  title    = {Harnessing function from form: towards bio-inspired artificial intelligence in neuronal substrates},
  school   = {Universit├Ąt Heidelberg},
  year     = {2020}
}
Datei pdf
URL UB-Entry
KIP - Bibliothek
Im Neuenheimer Feld 227
Raum 3.402
69120 Heidelberg