Human4D - Acquisition, Analyse et Synthèse de la Forme du Corps Humain en Mouvement

Coordinateur : Madame Hyewon SEO (Laboratoire des sciences de l’Ingénieur, de l’Informatique et de l’Imagerie (UMR 7357))

Partenaires : ICube Laboratoire des sciences de l’Ingénieur, de l’Informatique et de l’Imagerie (UMR 7357) - Inria GRA Centre de Recherche Inria Grenoble - Rhône-Alpes - Université de Lille, CRIStAL, Moamed Daoudi, Professeur IMT - LIRIS - CNRS UMR 5205 - LABORATOIRE D’INFORMATIQUE EN IMAGE ET SYSTEMES D’INFORMATION

Équipe : 3D SAM du Groupe Thématique Image.

PRC - Projet de recherche collaborative

Dates : 10/19 - 09/24

Résumé :

Reconstruire, caractériser et comprendre la forme et le mouvement d’un individu ou d’un groupe d’individus ont de multiples applications telles que l’étude ergonomique d’un produit, la création rapide d’humains virtuels et prédire le développement d’une anomalie d’un organe dans le cadre médicale. Naturellement, la capture et l’analyse des mouvements et formes sont des techniques qui existent depuis longtemps dans les domaines de la vision par ordinateur, l’informatique graphique et la géométrie algorithmique. Il existe effectivement un grand nombre de travaux de recherche qui ont été menés sur la reconstruction de formes à partir d’images ou de scan 3D. Il existe aussi des travaux sur la capture et la reconnaissance de mouvements à partir d’images. Malgré tout, la plupart de ces techniques traitent la forme et le mouvement séparément avec des méthodes dédiées soit à l’analyse de formes ou soit aux mouvements. Ceci est peut-être dû à la difficulté d’acquérir la forme et le mouvement de façon simultanée. Les systèmes de capture de données traditionnelles ont été construits pour capturer la forme sans le mouvement ou le mouvement sans la forme. Les évolutions récentes des technologies pour la capture de formes ont changé ce paradigme. Il est maintenant possible de capturer un modèle 4D d’une forme humaine qui inclue les informations sur la géométrie, le mouvement et l’apparence en même temps (e.g. Microsoft, Inria or MPI). Ces données ouvrent de nouvelles possibilités pour l’analyse et la synthèse de formes humaines en mouvement et qui sont encore largement inexploitées. Ces données pourraient être bénéfiques à un large éventail d’applications dans de nombreux domaines tels que la réalité virtuelle et augmentée, le sport et les applications médicales. En particulier, il sera possible de représenter un humain avec un modèle 4D entièrement dynamique contenant les données géométrique et d’apparence. Ce modèle 4D permettra de représenter les propriétés cinématiques de l’humain pour la posture du corps, le style et les émotions. Un tel modèle 4D est particulièrement important pour les applications médicales pour lesquelles il est nécessaire de caractériser des formes et des mouvements spécifiques. Ce modèle 4D pourra aussi être utile pour les applications VR immersives utilisant les visiocasques (head mounted displays) ; ces applications VR nécessitent de produire du contenu numérique de plus en plus précis. Les projets Microsoft Hololense, Facebook Oculus Rift, Sony PS4 HMD et HTC Vive sont des exemples de développement rapide et récent des applications VR. A l’avenir nous pourrons aisément construire les jumeaux numériques de personnes en mouvement, les envoyer par internet, générer de manière contrôlée une forme humaine 4D, etc. Human4D va participer à cette évolution avec pour objectif de grandement améliorer la reconstruction, la transmission, et la réutilisation de données d’humains numériques, en facilitant l’usage, actuellement limité, de technologies d’apprentissage profond pour la modélisation et l’analyse de forme humaine en mouvement

L’objectif du projet Human4D est de proposer un modèle 4D, en particulier, de trouver une solution pour représenter des données 4D d’une façon compacte et efficace ; ceci étant nécessaire pour les applications comme l’analyse statistique et la synthèse de mouvements. Notre ambition est d’aller au-delà des méthodes existantes qui ne permettent d’analyser les formes et les mouvements que de façon séparée. En effet, il est impossible d’utiliser ces méthodes pour le traitement de données 4D dont la topologie et la géométrie changent au cours du temps. Human4D arrive à point puisque les technologies pour la capture de données 4D ne sont apparues que récemment. Il regroupe plusieurs chercheurs ayant une forte expertise dans ce domaine. De plus, il est associé à la seule plateforme disponible dans le monde capable de produire les données pour ce projet.

Abstract

Reconstructing, characterizing, and understanding the shape and motion of individuals or groups of people have many important applications, such as ergonomic design of products, rapid reconstruction of realistic human models for virtual worlds, and an early detection of abnormality in predictive clinical analysis. Naturally, the capture and analysis of people’s shape and motion have a long tradition in disciplines such as computer vision, computer graphics, and virtual reality. This is evidenced by the large amount of research done on shape reconstruction from images and 3D scans, on subspace construction with multiple shapes, on motion capture and action recognition from video inputs. However, most current techniques treat shape and motion independently, with devoted techniques for either shape or motion in isolation. This is largely due to the difficulty of acquiring proper observations on full moving shapes : Traditional systems have been devoted to capture either static shapes, e.g. 3D scanners, or motion only, e.g. motion capture.
Recent evolutions in the technology for capturing moving shapes have changed this paradigm with new multi-view acquisition systems that enable now full 4D models of human shapes including geometry, motion and appearance, as in Microsoft, Inria, MPI, or more recently with commercial platforms deployed by Intel, 8i or Microsoft, among others. Such data open new possibilities and challenges for the analysis and the synthesis of human shapes in motion that are yet largely unexplored but would be of benefit to a wide range of applications in virtual and augmented reality, or in the sport and medical domains, among others. This is especially true with the rapidly growing VR/AR immersive applications based on head mounted displays, which require realistic and detailed models to improve the immersive experience. Magic leap, Microsoft Hololense, Facebook Oculus Rift, Sony PS4 HMD and the HTC Vive, among others, are clear examples of this recent and rapid evolution and the associated need to produce adapted realistic contents. In the future we will be able to make digital copies of moving persons using a handy imaging device, send them over the network, make customized compositions of digital 4D human shapes, etc. Human4D will participate to this evolution with objectives that can profoundly improve the reconstruction, transmission, and reuse of digital human data, by unlocking the limited use of deep learning techniques in human shape modeling.

The Human4D project aims at investigating some of these issues with a particular emphasis on how to represent a collection of 4D data in an efficient and compact way, as required by advanced applications such as statistical analysis or motion synthesis. Our ambition is to go beyond existing shape space representations that mostly focus on static shape poses, and seldom consider the continuous dynamic of shapes. Although all these ideas exist already and are not novel per say, no existing work has achieved a similar goal. Indeed, the complexity and persistent change in geometry and topology of such time-varying data make most traditional shape analysis algorithms unsuitable. This project is timely, as shown by important ongoing research activities in this field in both the academia and the industry (as mentioned previously). It gathers French research teams with long-standing expertise in the field, associated with one of a few acquisition platforms available worldwide that can produce the required data on moving human bodies.