year | 2018 |
author(s) | Patrick Häussermann |
title | Integration of the Slurm workload manager into the BrainScaleS monitoring platform |
KIP-Nummer | HD-KIP 18-142 |
KIP-Gruppe(n) | F9 |
document type | Bachelorarbeit |
Keywords (shown) | Slurm, workload manager, job scheduler, monitoring |
Abstract (de) | Das neuromorphe System BrainScaleS implementiert physikalische Modelle von neuronalen Netzwerken. Der Kern des Systems besteht aus zwanzig Wafer, auf welchen sogennante HICANNs ein physisches Model von adaptiv feuernden Neuronen und plastischen Synapsen implementieren. Dieses System wird öfters von hunderten Experimenten täglich genutzt, was es nötig macht diese automatisch verwalten zu lassen. Dazu wird der Slurm workload manager verwendet, eine Software welche im High Performance Computing weite Verbreitung findet. Slurm ermöglicht das automatische Starten und Verwalten von Experimenten, bietet aber auch Funktionen um vorhandene Computerressourcen zu verwalten. Slurm war bisher noch nicht Teil der bereits bestehenden Überwachungsinfrastruktur. Diese Arbeit ändert dies. Es wird eine Lösung umgesetzt, welche es erlaubt Slurm, sowie auch den Cluster als ganzes zu Überwachen. Dazu mussten viele der bestehenden Konfigurationen angepasst werden. Zusätzlich werden nun regelmäßig Daten aus Slurm abgefragt, analysiert und gespeichert. Diese Daten werden ebenfalls aufbereitet und grafisch dargstellt. Dies erlaubt tiefe Einblicke in den Status von Slurm und den Cluster selbst. Änderungen die bereits während des vorhergegangenen Praktikums gemacht wurden, konnten weiter ausgebaut werden und erlauben nun auch die Darstellung von Status und Nutzungsverlauf der verwendeten Hardwarelizenzen. Die gemachten Änderungen ermöglichen es nun ausführliche Statistiken und Berichte zu erstellen. |
Abstract (en) | The neuromorphic system BrainScaleS implements physical models of neural networks. At its core are twenty wafers, comprised of so-called HICANNs that physically emulate adaptively spiking neurons and plastic synapses. The BrainScaleS computing platform can be requested by hundreds of experiments per day, making it necessary to schedule and manage submitted workloads automatically. This is done using the Slurm workload manager software that is widely used in HPC (High Performance Computing). Slurm provides automatic scheduling and execution of submitted jobs but also implements a framework to manage available computing resources. While most of the components of BrainScaleS are already part of an existing monitoring platform, Slurm is not. This thesis aims to remedy that and integrate Slurm into the existing monitoring platform. To this end, existing configurations were revised and periodic queries to Slurm and the cluster were implemented. These provide a wealth of information which is analyzed and stored. The existing visualization solution has been extended with the new data, providing insight into the status of Slurm and the cluster. Further development of the changes already implemented during the internship enables the display of status and usage history of licenses representing user-allocatable hardware. These changes enable the generation of comprehensive usage reports and statistics and allow for a more proactive approach by identifying possible optimizations of the cluster and software. |
bibtex | @mastersthesis{phaeus, author = {Patrick Häussermann}, title = {Integration of the Slurm workload manager into the BrainScaleS monitoring platform}, school = {Universität Heidelberg}, year = {2018}, type = {Bachelorarbeit} } |
Datei |