KIP-Veröffentlichungen

Boltzmann-Maschinen sind künstliche neuronale Netze, die in der Lage sind generative Modelle realistischer Daten zu lernen. Variationen von Boltzmann-Maschinen werden derzeit erfolgreich in vielen Problemstellungen des maschinellen Lernens angewendet.
Die Erzeugung von Stichproben eines gelernten Modells in Boltzmann-Maschinen ist rechenintensiv aber im Prinzip massiv parallelisierbar, was sie attraktiv für eine Implementierung auf neuromorphen Plattformen macht. Dies hat die Entwicklung von Boltzmann-Maschinen motiviert, die auf dem leaky integrate-and-fire (LIF) Neuronenmodell basieren, welches häufig auf neuromorphen Plattformen implementiert ist.
Diese Arbeit untersucht die Eigenschaften LIF-basierter Boltzmann-Maschinen bei der Erzeugung von Stichproben im Vergleich zu klassischen Boltzmann Maschinen. Wir beobachten dabei Differenzen insbesondere im Hinblick auf die Fähigkeit zwischen verschiedenen Moden des zugrunde liegenden Modells zu wechseln. In Abhängigkeit vom Synapsenmodell, welches die Neuronen verbindet, finden wir eine Verbesserung oder einen Rückgang dieser Mixfähigkeit im Vergleich zur klassischen Erzeugung von Stichproben. Darüber hinaus präsentieren wir einen Mechanismus zur Verbesserung der Mixfähigkeit LIF-basierter Boltzmann-Maschinen, der auf synaptischer Kurzzeitplastizität basiert. Mit diesem Mechanismus wird für beide angewendeten Synapsenmodelle eine bessere Mixfähigkeit im Vergleich zur klassischen Erzeugung von Stichproben erreicht.

Boltzmann machines are artificial neural networks which are able to learn generative models of real world data. Variations of Boltzmann machines are currently successfully applied to many machine learning tasks. The generation of samples (sampling) from a learned model in Boltzmann machines is computationally expensive but, in principle, massively parallel, which makes it appealing for an implementation on neuromorphic computing platforms. This has motivated the development of Boltzmann machines based on the leaky integrate-and-fire (LIF) neuron model, which is often implemented on neuromorphic devices. This thesis investigates the sampling properties of LIF-based Boltzmann machines compared to the one of classical Boltzmann machines. We observe differences in sampling, especially with regard to the ability to mix between several modes of the underlying model. Depending on the synapse model, connecting the neurons, an improvement or a decline of the mixing ability compared to classical sampling is found. Moreover, we present a mechanism based on short-term synaptic plasticity to improve the mixing ability for LIF-based Boltzmann machines. Using this mechanism, a better mixing ability compared to classical sampling for both applied synapse models is achieved.