Thesis defence of Olivier Lim (CDSI team): Real-Time unconventional adaptive cameras for multimodal acquisition

Olivier LIM - CDSI team

Thesis director
Stéphane MANCINI - Thesis director - Associate professor - TIMA Lab. - Grenoble INP

Rapporteurs
Simon LACROIX - Rapporteur - Research director - CNRS DR Occitanie - LAAS
Maxime PELCAT - Rapporteur - Full professor - INSA Rennes

Composition of the jury
Stéphane MANCINI - Thesis director - Associate professor - TIMA Lab. - Grenoble INP
Simon LACROIX - Rapporteur - Research director - CNRS DR Occitanie - LAAS
Maxime PELCAT - Rapporteur - Full professor - INSA Rennes
François BERRY - Examinator - Full professor - Université de Clermont Auvergne
Hacheme AYASSO - Examinator - Associate professor - Université Grenoble Alpes - GIPSA-Lab
Laurent FESQUET - Examinator - Associate professor - TIMA Lab. - Grenoble INP
Mauro DALLA MURA - Guest - Associate professor - Université Grenoble Alpes - GIPSA-Lab

Title: Real-Time unconventional adaptive cameras for multimodal acquisition
Keywords: Computational photography, Embedded systems, 3D, Hyperspectral, Real Time
Abstract: Hyperspectral imaging entails capturing information from a scene across hundreds of continuous wavelengths with a spectral resolution of approximately 10 nm. For each point in the scene, data is recorded across all spectral bands. Conventional hyperspectral imaging generates a considerable amount of data and also requires large sensors. To address these drawbacks, compressed sensing has recently been explored. This mathematical approach allows capturing a signal below the Nyquist rate but requires a computationally expensive reconstruction phase. This work focuses on the real-time performance analysis of a hyperspectral imaging system based on compressed sensing, operating on an embedded system (GPU or FPGA). The performance studied relates to the number of frames per second, taking into account the scene's dimensions to be captured. An analysis is conducted to assess the computational costs, memory footprint, and bandwidth required to reconstruct a given scene. The performance is specifically determined for the Double-Disperser Coded Aperture Snapshot Spectral Imager (DD CASSI) and the Conjugate Gradient Method on the Normal Equations (CGNE) algorithm, which are representative of a broader class of imagers and reconstruction algorithms, such as Coded Aperture Snapshot Spectral Imagers (CASSI) and convex optimization algorithms. Furthermore, to obtain a more accurate analysis of execution times, FPGA reconstruction implementation simulations are conducted. Throughout this work, acceleration approaches are presented and their benefits are evaluated. These strategies include optimizations at both the software level, which take advantage of computational sparsity, and at the hardware level, such as finetuning the number representation and modifying CGNE to fully leverage pipeline architectures and parallel processing.

Titre : Caméras non-conventionnelles multi-modales adaptatives en temps-réel
Mots-clés : 3D,Temps réel, Systèmes embarqués, Hyperspectral, Photographie computationnelle
Résumé : L’imagerie hyperspectrale consiste à capturer les informations d'une scène à travers une centaine de longueurs d'onde continues avec une résolution spectrale d’environ 10 nm. Pour chaque point de la scène, les données sont enregistrées sur toutes les bandes spectrales. L'imagerie hyperspectrale conventionnelle génère une quantité considérable de données et nécessite également des capteurs de grande taille. Pour palier ces inconvénients, l'acquisition comprimée a récemment été explorée. Cette approche mathématique permet de capturer un signal en dessous du seuil de Nyquist, mais elle nécessite une phase de reconstruction coûteuse en calculs. Ce travail se concentre sur l’analyse des performances en temps réel d'un système d'imagerie hyperspectrale basé sur l'acquisition comprimée, fonctionnant sur un système embarqué (GPU ou FPGA). Les performances étudiées concernent le nombre d'images par seconde, en tenant compte des dimensions de la scène à capturer. Une analyse est réalisée pour évaluer les coûts de calcul, l'empreinte mémoire et la bande passante nécessaires à la reconstruction. Les performances sont spécifiquement déterminées pour le Double-Disperser Coded Aperture Snapshot Spectral Imager (DD CASSI) et le Conjugate Gradient Method on the Normal Equations (CGNE), tout en les considérant comme représentatives d'une catégorie d'imageurs et d'algorithmes de reconstruction, incluant les imageurs basés sur Coded Aperture Snapshot Spectral Imager (CASSI) et les algorithmes d'optimisation convexe. Ensuite, pour obtenir une analyse plus précise des temps d'exécution, des simulations de la reconstruction d'une implémentation sur FPGA sont menées. Tout au long de ce travail, des propositions d'accélération sont présentées, et leurs gains sont évalués. Ces propositions se situent au niveau logiciel, en exploitant la parcimonie des calculs, ainsi qu'au niveau matériel, par l’optimisation de la représentation des nombres et l’adaptation du CGNE pour tirer pleinement parti des pipelines et du parallélisme.