Les gestes de la main sont le moyen de communication non verbal le plus naturel et le plus intuitif lorsqu'il est question d'interaction avec un ordinateur. L'analyse des gestes de la main s'appuie sur l'estimation de la pose de la main et la reconnaissance de gestes. L'estimation de la pose de la main est considérée comme un défi difficile du fait de la petite taille d'une main, de sa plus grande complexité et de ses nombreuses occultations. Par ailleurs, le développement d'un système de reconnaissance des gestes est également difficile du fait des grandes dissimilarités entre les gestes dérivant de facteurs ad-hoc, culturels et/ou individuels inhérents aux acteurs. Nous proposons un système pour représenter les gestes de la main en utilisant des descripteurs de forme et de mouvement calculés sur des squelettes de main 3D. De plus, nous proposons une base de données de gestes de mains dynamiques contenant 14 types de gestes. Les résultats montrent une utilisation prometteuse des données de squelette pour reconnaître des gestes de main. Dans un second temps, nous étendons l'étude de l'analyse des gestes de main à une reconnaissance en ligne. En utilisant une approche d'apprentissage profond, nous employons une stratégie de transfert d'apprentissage afin d’entraîner des caractéristiques de pose et de forme de la main à partir d'images de profondeur d'une base de données crée à l'origine pour un problème d'estimation de la pose de la main. Nous modélisons ensuite les variations temporelles des poses de la main et de ses formes grâce à une méthode d'apprentissage profond récurrente. Enfin, les deux informations sont fusionnées pour détecter et reconnaître des gestes de main.
- Directeur de thèse : Jean-Philippe VANDEBORRE - Co-encadrant : Hazem WANNOUS - Rapporteurs : Saida BOUAKAZ, Fabien MOUTARDE - Examinateurs : Laurent GRISONI, Francisco FLÓREZ-REVUELTA
Thèse de l'équipe 3D SAM soutenue le 14/12/2017
français
English