Thesis defence of Salah Daddinounou (AMfoRS team): Design and Analysis of Neuromorphic Spiking Neural Networks with Spintronic Synapses

Salah DADDINOUNOU - AMfoRS team

Direction of the thesis
Ioana VATAJELU - Thesis director - HDR Research projet manager - CNRS/TIMA

Composition of the jury
Ioana VATAJELU - Thesis director - HDR Research projet manager - CNRS/TIMA
Jean-Michel PORTAL - Rapporteur - Full professor - Université Aix-Marseille
Sylvain SAIGHI - Rapporteur - Full professor - Université de Bordeaux
Laurent FESQUET - Examinator - Associate professor - Grenoble INP/TIMA
Damien QUERLIOZ - Examinator - Research director - CNRS
Guillaume PRENAT - Examinator - Research director - CEA
Marina REYBOZ - Guest - Research director - CEA-List

Title: Design and Analysis of Neuromorphic Spiking Neural Networks with Spintronic Synapses
Keywords: SNN, MTJ, Spintronics, Unsupervised learning, Design,Neuromorphic
Abstract: In the era of widespread AI applications and significant energy demands of advanced training models on conventional hardware, it is crucial to rethink hardware-software co-design, ensuring that learning algorithms are intimately adapted to the hardware. In this thesis, inspired by the efficiency of biological neural networks, we investigate hardware implementation of SNNs with spintronic synapses, focusing on unsupervised, real-time learning and energy efficiency. The proposed synaptic design leverages the inherent stochastic property of MTJs to achieve multi-state conductance levels. We also introduce a novel Bi-Sigmoid STDP learning rule tailored to the physical behavior of MTJs, enabling robust synaptic plasticity. One outcome of the thesis was the development of an open-source framework to automate the creation and simulation of SNN netlists in SPICE. This framework, equipped with rich features, facilitates the study of SNNs with high accuracy and fidelity to hardware implementation. It was employed to validate the SNN's ability to learn and recognize simple character images. Furthermore, the Bi-Sigmoid STDP rule is integrated in a state-of-the-art SNN simulator for functional validation, scaling the network to learn the MNIST dataset and confirming the broader applicability and efficiency of the learning rule. Finally, the variability issues inherent in the microelectronics fabrication process of MTJs, which compose the synapses, were evaluated, and their effect on the overall SNN performance was studied. This work contributes to the development of neuromorphic systems capable of real-time, unsupervised learning with enhanced energy efficiency, paving the way for advanced, brain-inspired computing solutions.

Titre : Conception et Analyse des Réseaux de Neurones à Impulsions Neuromorphiques avec Synapses Spintroniques
Mots-clés : SNN,MTJ,spintronique,Apprentissage non supervisé,Conception,Neuromorphique
Résumé : À l'ère des applications omniprésentes de l'IA et des besoins énergétiques considérables des modèles d'apprentissage sur du matériel conventionnel, il est crucial de repenser la co-conception matériel-logiciel, en veillant à ce que les algorithmes d'apprentissage soient étroitement adaptés au matériel. Dans cette thèse, inspirés par l'efficacité des réseaux de neurones biologiques, nous étudions l'implémentation matérielle des réseaux de neurones à impulsions (SNN) avec des synapses spintroniques, en mettant l'accent sur l'apprentissage en temps réel, non supervisé et leur efficacité énergétique. La conception synaptique proposée exploite la propriété stochastique inhérente des jonctions tunnel magnétiques (MTJ) pour atteindre des niveaux de conductance multi-états. Nous introduisons également une nouvelle règle d'apprentissage (Bi-Sigmoïde STDP) adaptée au comportement physique des MTJs, permettant une plasticité synaptique robuste. Un des débouchés de la thèse a été le développement d'un outil open-source pour automatiser la création et la simulation de netlists des réseaux SNN dans SPICE. Cet outil, doté de deriches fonctionnalités, facilite l'étude des SNNs avec une fidélité proche de l'implémentation matérielle. Il a été utilisé pour valider la capacité des SNNs à apprendre et à reconnaître des images de simples caractères. De plus, la règle Bi-Sigmoïde STDP a été intégrée dans un simulateur SNN de l'état-de-l'art pour une validation fonctionnelle, permettant d'étendre le réseau pour apprendre MNIST dataset et confirmant l'applicabilité et l'efficacité plus larges de notre règle d'apprentissage. Enfin, la variabilité inhérente au processus de fabrication microélectronique des MTJs qui composent les synapses, a été évaluée, et son effet sur les performances globales des SNN a été étudiée. Ce travail contribue au développement de systèmes neuromorphiques capables d'apprentissage en temps réel et non supervisé avec une efficacité énergétique accrue, ouvrant la voie à des solutions de calcul inspirées du cerveau.