Récemment, le développement de systèmes intelligents dédiés pour la compréhension du comportement humain est devenu un axe de recherche très important. En effet, il est très important de comprendre le comportement humain pour rendre les machines capables d'aider et interagir avec les humains. Pour cela, plusieurs approches de l'état de l'art commencent par détecter automatiquement un ensemble de points 2D ou 3D, appelés marqueurs, sur le corps et/ou le visage humain à partir de données visuelles. L’analyse des séquences temporelles de ces marqueurs pose plusieurs défis dus aux erreurs de suivi et aux variabilités temporelles et de pose. Dans cette thèse, nous proposons deux nouvelles représentations spatio-temporelles avec des outils de calcul appropriés pour la compréhension du comportement humain. La première consiste à représenter une séquence temporelle de marqueurs par une trajectoire de matrices de Gram. Les matrices de Gram sont des matrices semi-définies positives de rang fixe et vivent dans un espace non-linéaire dans lequel les outils d’apprentissage automatique conventionnels ne peuvent pas être appliqués directement. Nous évaluons l’efficacité de notre approche dans plusieurs applications, impliquant des marqueurs 2D et 3D de visages et de corps humain, tels que la reconnaissance des émotions à partir des expressions faciales la reconnaissance d’actions et des émotions à partir des données de profondeur 3D. La deuxième représentation proposée dans cette thèse est basée sur les coordonnées barycentriques des marqueurs de visages 2D. Cette représentation permet d’utiliser les outils de calcul et d’apprentissage automatique tels que les techniques d’apprentissage de métrique. Les résultats obtenus en reconnaissance des expressions faciales et en mesure automatique de la sévérité de la dépression à partir du visage montrent tout l’intérêt de la représentation barycentrique combinée à des techniques d’apprentissage automatique. Les résultats obtenus avec les deux méthodes proposées sur des bases de données réelles montrent la compétitivité de nos approches avec les méthodes récentes de l’état de l’art.
Directeur de thèse : M. Mohamed DAOUDI, Prof. lMT Lille Douai Rapporteurs : M. Nicu SEBE, Prof. University of Trento, M. Frédéric JURIE, Prof. Université de Caen Co-directeur de tèse : M. Boulbaba BEN AMOR, Prof. IMT Lille Douai Examinateurs : M. Juan Carlos ALVAREZ PAIVA, Prof. Université de Lille. Mme Catherine ACHARD, Maître de conférences/HDR, Sorbonne Université. Mme Tinne TUYTELAARS, Prof. KU Leuven
Thèse de l'équipe 3D SAM soutenue le 12/12/2018
français
English