Thesis defence of Jérémy BELOT (CDSI team): Towards robust, low power and adjustable accuracy Bayesian computers

Jérémy BELOT - CDSI team
Thesis director: Laurent FESQUET

Towards robust, low power and adjustable accuracy Bayesian computers
Artificial intelligence (AI) is already revolutionizing our habits through technologies that allow the analysis, filtering and classification of a large amount of data that cannot be processed by conventional algorithms due to their complexity and incompleteness.
Thus, there is now a strong demand for AI dedicated hardware while objects capable of capturing, collecting, processing and distributing information are more and more constrained in energy when the computing power required is constantly increasing.
In this context, the Bayesian approach seems to be a particularly interesting way to carry out low cost and low power information fusion tasks.
By reducing multiplication to a single AND logic gate, stochastic arithmetic significantly reduces the size of operators (and therefore manufacturing costs) and their consumption at the expense of a lower computing speed, making it particularly suitable for Bayesian inference calculations.
Initial results show the energy efficiency of this stochastic approach when the size of the problem to be treated is reduced and the accuracy required is low.
These results nevertheless raise two main bottlenecks when the size of the problem increases: the memory space needed to store probability distributions and the energy cost to generate random numbers.
This thesis aims to design Bayesian machine architectures that are efficient in low and high accuracy with a low energy consumption.
To do so, it is necessary, on the one hand, to bypass the limits defined previously by rethinking the methods of storing distributions and generating random numbers necessary for stochastic calculation.
And on the other hand, to exploit the specificities of these architectures, such as robustness allowing the increase of PVT margins and therefore the reduction of the circuit supply voltage, or the event-based nature of the Bayesian approach making an asynchronous implementation relevant.

Vers des calculateurs Bayésiens compacts, à faible énergie et à précision ajustable
L'intelligence artificielle (IA) révolutionne déjà nos habitudes à travers des technologies permettant l'analyse, le filtrage et la classification d'une grande quantité de données qui ne peuvent être traitées par des algorithmes classiques de par leur complexité et leur incomplétude.
Ainsi, il existe aujourd'hui une forte demande pour le matériel dédié à l'IA alors que les objets capables de capter, traiter et distribuer l'information sont de plus en plus contraints en énergie et que la puissance de calcul requise ne fait qu'augmenter.
Dans ce contexte, l'approche Bayésienne semble une piste particulièrement intéressante pour réaliser des tâches de fusion d'information de manière explicable, avec peu de données et à faible coût énergétique.
De plus, en réduisant les multiplications à une simple porte ET logique, l'arithmétique stochastique permet de réduire significativement la taille des opérateurs (et donc les coûts de fabrication) ainsi que leur consommation ce qui la rend particulièrement adaptée aux calcul d'inférences Bayésiennes.
De premiers résultats montrent l'efficacité énergétique de cette approche stochastique lorsque la taille du problème à traiter est réduite et lorsque la précision requise est faible.
Dans cette thèse nous proposons des solutions permettant d'adresser les principaux goulots d'étranglement lorsque la taille du problème augmente : l'espace mémoire nécessaire pour le stockage des distributions de probabilité, le coût en surface et en puissance consommée pour générer les nombres aléatoires et le temps de calcul élevé dû à la logique stochastique réduisant les performances énergétiques du système.
Par rapport à l'état de l'art, ces contributions permettent de diviser jusqu'à 2 fois la surface et jusqu'à 30 fois la consommation énergétique, tout en divisant jusqu'à 8 fois le temps de calcul.