La reconstruction 3D d’un visage à partir d’une image 2D est un problème fondamental de la vision par ordinateur qui suscite un intérêt considérable en raison de ses diverses applications potentielles. Bien que le problème soit facile pour les humains grâce à leurs mécanismes de vision, sa résolution est toujours complexe en raison des énormes changements d’apparence sous différentes prises de vues, des conditions d’illuminations non contrôlées et des occultations. Pour relever ces défis, les nombreuses approches qui ont été proposées, explorent les caractéristiques du visage à partir de l’image d’entrée, ce qui permet de restreindre l’espace des solutions. Cependant, les techniques classiques de reconstruction 3D peuvent parfois échouer, car elles sont sensibles à la qualité de l’image d’entrée et à ses conditions d’acquisition. Pour faire face à tout cela, des approches basées sur les réseaux de neurones ont été proposées. Toutefois, les principales limites de ces techniques reposent sur un manque de contrôlabilité, ainsi que la nécessité d'un large ensemble de données, et d’un temps d’apprentissage relativement long. Dans le cadre de cette thèse CIFRE effectuée au sein de la start-up MCQ-Scan, nous proposons de combiner les techniques d’apprentissage profond et de géométrie pour constituer deux nouvelles méthodes hybrides qui reconstruisent un visage humain 3D à partir d’une image 2D. Pour faire face au manque de données nécessaires à l’apprentissage des réseaux de neurones, nous constituons tout d’abord un générateur de têtes humaines synthétiques 3D. Ceci nous a permis de fournir une base de données d’images faciales avec plusieurs cartes qui contiennent des informations caractéristiques de la géométrie faciale. Notre générateur est composé de différents éléments dont un modèle déformable 3D (3DMM) qui définit la géométrie d’une tête humaine. Afin de synthétiser des exemples réalistes, nous proposons de rajouter d’autres éléments, notamment, des textures de haute qualité, des modèles 3D pour les yeux, les cheveux, et pour les lunettes qui sont utilisées comme accessoires. Pour produire un rendu final de haute qualité, tous ces éléments sont combinés puis restitués grâce à un moteur de rendu graphique 3D. Les deux approches de reconstruction de visage 3D que nous proposons, utilisent des CNN pour produire deux types de cartes à partir d’une image d’un visage humain. La première approche produit une carte de champ des normales et une carte du module du gradient de la carte de profondeur du visage. Par la suite, ces deux sorties sont utilisées dans un processus d'intégration du champ des normales basée sur les moindres carrées pondérées pour générer la surface faciale 3D. Dans la deuxième approche, le réseau de neurones produit une carte de points de repère et une carte de champ des normales similaire à celle produite dans la première approche. Elles sont utilisées dans un processus de régression qui vise à trouver la meilleure combinaison linéaire des bases d’un modèle déformable (3DMM) et d’obtenir ainsi la géométrie qui correspond le mieux à l’image d’entrée. À la fin de chaque approche, nous évaluons la précision grâce à des tests qualitatifs et quantitatives et nous montrons que les résultats que nous obtenons sont compétitifs avec les méthodes récentes de l’état de l’art. Nous montrons aussi que malgré le fait que nos modèles n'aient été formés qu'à partir de données synthétiques, ils parviennent à récupérer des géométries faciales 3D précises pour des images du monde réel.
M. Mohamed DAOUDI IMT Lille Douai Directeur de thèse M. kévin BAILLY Sorbone Université Rapporteur M. Rachid OULAD HAJ THAMI Ecole Nationale Supérieure d'Informatique et d'Analyse des Systèmes Rapporteur Mme Catherine SOLADIÉ CentraleSupélec Examinatrice M. Bogdan KHOMUTENKO MCQ-Scan Examinateur M. Olivier COLOT Université de Lille Examinateur
Thesis of the team 3D SAM defended on 25/06/2021
français
English