KIP publications

 
year 2016
author(s) Anna Schroeder
title Struktur schafft Robustheit: Eine Untersuchung hierarchischer neuronaler Netzwerke mit unpräzisen Komponenten
KIP-Nummer HD-KIP 16-85
KIP-Gruppe(n) F9
document type Bachelorarbeit
Abstract (de)

Boltzmann-Maschinen sind aufgrund ihrer vielseitigen Anwendbarkeit gut etablierte neuronale Netze. Der Beweis, dass solche Netzwerke aus feuernden Neuronen gebildet werden können, war ein wichtiger Schritt in Richtung ihrer Umsetzung in neuromorpher Hardware. Jedoch fordert die Übersetzung in ein solches Substrat gewisse Rahmenbedingungen, die auf analoger Hardware nur bedingt gegeben sind. In dieser Bachelorarbeit wird ein neuronales Netzwerk zur Klassifikation von handgeschrieben Ziffern des MNIST Datensatzes auf die Implementierbarkeit auf beschleunigter neuromorpher Hardware untersucht. Hierfür wurden Fluktuationen der relevanten Parameter auf Hardware quantitativ erfasst. Simulationen ergaben, dass synaptische Delays und instabile Refraktärzeiten im Kontext dieser Anwendung weitgehend unerheblich sind. Lediglich die effektive Membranzeitkonstante und die Auflösung der synaptischen Gewichte können bei den untersuchten Netzwerken eine negative Auswirkung haben. Mit dem teilweise auf Hardware implementiertem Netzwerk konnte in ersten Experimenten eine Klassifikationsrate von 67.5% erreicht werden. Das ist bereits ein vielversprechendes Ergebnis, da die Differenz hin zu den optimal erreichbaren 88% auf bekannte systematische Fehlerquellen zurückzuführen sind, die aber mit geeigneten Methoden eliminiert werden können.

Abstract (en)

Boltzmann machines are well established neural networks due to their versatile applicability. The proof that firing neurons are able to build such networks has been an important step towards their implementation on neuromorphic hardware. However, the requirements for transitioning to such a substrate are only partly met by analog hardware. The aim of this bachelor thesis was to investigate the implementability of a handwritten MNIST digits classificating network on accelerated neuromorphic hardware. Therefore we measured relevant parameters, especially their uncertainties. Simulations yield that synaptic delays and unstable refractory times are largely negligible. Only the effective membrane time constant and the resolution of synaptic weights show negative effects in the hardware regime. The classification rate of a network partly implemented on hardware reached in first experiments 67.5%. This is already a promising result since the difference up to the optimally reachable 88% might be attributable to known systematic sources of error, which can be eliminated with appropriate methods.

bibtex
@mastersthesis{schroeder2016struktur,
  author   = {Anna Schroeder},
  title    = {Struktur schafft Robustheit: Eine Untersuchung hierarchischer neuronaler Netzwerke mit unpr\"azisen Komponenten},
  school   = {Universit\"at Heidelberg},
  year     = {2016},
  type     = {Bachelorarbeit}
}
up
KIP - Bibliothek
Im Neuenheimer Feld 227
Raum 3.402
69120 Heidelberg