Thèse de Benjamin Allaert

Analyse des expressions faciales dans un flux vidéo

De nos jours, dans des domaines tels que la sécurité, la santé et la communication, une forte demande consiste à pouvoir analyser le comportement des personnes en s’appuyant notamment sur l’analyse faciale. Dans cette thèse, nous explorons de nouvelles approches permettant de répondre à différents problèmes liés à l’analyse des expressions faciales dans une séquence d’images, à destination d’un système d’acquisition peu contraint (variations de pose, changements d’illumination, occultations, expressions spontanées). Plus spécifiquement, nous nous intéressons à la variabilité des intensités des expressions faciales (micro et macro expressions) et à l’analyse des expressions faciales en présence d’occultations induites par des variations de pose du visage. Notre première contribution s’intéresse à la caractérisation précise des variations d’intensité des expressions faciales. Nous proposons un descripteur innovant appelé LMP (Local Motion Patterns) qui s’appuie sur les propriétés physiques déformables du visage afin de conserver uniquement les directions principales du mouvement facial induit par les expressions faciales. La particularité principale de notre travail est liée au fait que notre descripteur permet d’obtenir de très bonnes performances pour caractériser à la fois les micro et les macro expressions en utilisant, pour les deux catégories d’intensité, le même système d’analyse (descripteur, modèle facial, configuration). Notre deuxième contribution concerne la prise en compte des variations de pose. Généralement, une étape de normalisation du visage est employée afin d’obtenir une invariance aux transformations géométriques. Cependant, ces méthodes sont utilisées sans forcément connaître leur impact sur les expressions faciales. Nous proposons un système d’acquisition innovant appelé SNaP-2DFe (Simultaneous Natural and Posed 2D Facial expression) pour permettre de mieux caractériser la robustesse des méthodes de normalisation pour l’analyse des expressions faciales. Ce système permet de capturer simultanément un visage dans un plan fixe et dans un plan mobile (i.e. suit le déplacement de la tête). Grâce à cela, nous fournissons une connaissance du visage à reconstruire malgré les occultations induites par les rotations 3D (hors plan) de la tête. Nous montrons à travers les données récoltées, que les méthodes de normalisation employées dans les systèmes actuels ne sont pas parfaitement adaptées pour l’analyse des expressions faciales.

Jury

- Directeur de thèse : Chaabane Djeraba - Rapporteurs : Jenny Benois-Pineau, Monique Noirhomme - Examinateurs : Moncef Gabbouj, Laurence Duchien, Marius Ioan Bilasco

Thèse de l'équipe FOX soutenue le 08/06/2018