Parmi les nombreuses thématiques de la vision par ordinateur, l'étude du corps humain, plus précisément l'analyse de sa forme en trois dimensions, a toujours été un sujet de grand intérêt pour ses nombreuses applications. La thèse se concentre sur le corps humain en trois dimensions (3D), ainsi que sur son mouvement, avec les nouveaux défis scientifiques posés par la disponibilité grandissante de ce type de données. Les corps humains sont naturellement compliqués en tant que corps articulés, évoluant à la fois en identité et en changement de pose. De plus, l'espace de formes des corps humains se construit en filtrant les transformations que sont les mouvements rigides et les re-paramétrisations. La thèse propose un approche en deux temps pour la compréhension du corps humain, tout en s'attaquant aux challenges énoncés. Dans un premier temps, nous nous concentrons sur la recherche de séquences de corps humains 3D dans une base de données. Nous proposons de quitter l'espace de formes en comparant les poses et les mouvements dans des espaces de descripteurs. Nous commençons par la description de la pose du corps humain, en supposant que la pose du corps humain est presque caractérisée par son enveloppe convexe. Cette hypothèse nous permet de construire trois descripteurs invariant par transformations. Nous réduisons la comparaison de séquences 3D+t à une comparaison de courbes polygonales. Les résultats expérimentaux sont satisfaisants, mais un (léger) travail supplémentaire est nécessaire pour l'utilisation sur données bruitées. Nous améliorons nos résultats sur le mouvement dans une seconde approche où l'on représente les surfaces de corps humains par des varifolds dans un espace de Hilbert, en utilisant un produit scalaire qui découle d'un noyau défini positif. Les séquences de formes 3D sont représentées par des matrices dérivées de la matrice de Gram du mouvement, ce qui réduit la comparaison de séquences de corps humains 3D à une comparaison de matrices. Dans un second temps, nous nous concentrons sur la construction d'un cadre général pour la génération de déformations humaines. Nous équipons l'espace de formes d'une famille de métriques Riemanniennes élastiques qui sont invariant par mouvement rigide et re-paramétrisations, qui ont de plus aussi l'avantage de distinguer les évolutions en pose et en identité. Nous nous restreignons d'abord aux corps humains alignés, et nous proposons une approche de dimension réduite pour l'interpolation (chemin géodésique) entre corps humains, ainsi que pour des outils statistiques (moyenne de corps humains). La limitation de cette approche réside dans la nécessité de pré-aligner les corps humains avec un modèle donné. Pour résoudre ce problème, nous améliorons l'approche en l'étendant aux scans bruts de corps humains. Pour y parvenir, nous utilisons la métrique varifold comme une quantité régularisant l'espace des paramétrisations. De plus, nous représentons directement les corps humain dans un espace latent de petite dimension, équipé des images réciproques des familles de métriques Riemanniennes. Cela permet de simplifier la résolution des problèmes d'optimisation pour le calcul de géodésiques. L'alignement et l'interpolation de formes sont résolus conjointement, ce qui permet de travailler directement avec des formes non alignées. Les résultats expérimentaux démontrent une amélioration significative par rapport aux solutions existantes pour l'alignement, l'interpolation et l'extrapolation de formes. Nous démontrons finalement l'utilité de ces approches pour la recherche de pose et d'identités, le transfert de mouvement et la génération aléatoire d'identité et de pose de corps humains.
M. Mohamed DAOUDI IMT Nord Europe Directeur de thèse M. Juan Carlos ALVAREZ PAIVA Université de Lille Co-directeur de thèse M. Alain TROUVE Ecole normale supérieure Paris-Saclay Rapporteur M. Florent DUPONT Université Lyon 1 Rapporteur M. Olivier COLOT Université de Lille Examinateur Mme Stefanie WUHRER INRIA Grenoble Rhône-Alpes Examinatrice Mme Alice Barbara TUMPACH Université de Lille Examinatrice M. Klaus HILDEBRANDT Delft University of Technology Examinateur M. Sylvain ARGUILLERE Université de Lille Invité M. Martin BAUER University of Vienna Invité
Thèse de l'équipe 3D SAM soutenue le 03/03/2023
français
English