Thesis of Yosra Derbel

Comprendre, Modéliser et Concevoir l’Interaction Gestuelle Tactile

Cette thèse présente nos travaux de recherche sur la variabilité du geste tactile multi-doigts. Nous étudions d'abord la variabilité du geste multi-doigts du point de vue utilisateur, en- suite nous décrivons un ensemble d'outils et de techniques d'interaction multi-doigts. Dans le but de comprendre la variabilité du geste tactile multi-doigts, nous avons mis en place deux études utilisateur. À partir de la première étude, nous présentons une taxonomie des gestes multi-doigts dans laquelle nous présentons de façon unifiée les différents aspects qui amènent les utilisateurs à la réalisation d'un geste en particulier. Dans ce contexte, nous introduisons le concept de mouvement atomique permettant de refléter comment l'utilisateur perçoit les déplacements de ses doigts durant la production d'un geste. De la seconde étude, nous proposons une analyse fine et approfondie de la variabilité des gestes multi-doigts. Nous distinguons les sources majeures et mineures de variations et présentons huit classes représentatives de la variabilité des utilisateurs. Nous analysons notamment le lien entre la forme du geste et la façon avec laquelle il est produit. Nous abordons, ensuite, la question de savoir si les différentes sources de variations induisent différents degrés de difficulté ou si elles sont équivalentes pour l'utilisateur. Pour celà, nous décrivons une étude nouvelle sur la perception de la difficulté des gestes multi- doigts. Nous présentons les résultats de corrélation entre l'évaluation subjective des utilisateurs et les descripteurs du geste, permettant ainsi une meilleure compréhension des mécanismes impliqués dans la perception de la difficulté chez les utilisateurs. Grâce à une analyse approfondie portant sur la structure, la géométrie et la cinématique du geste multi- doigts, nous donnons des résultats sur la façon dont les gens synchronisent leurs doigts et mains pendant la production d'un geste. Nous utilisons, ensuite, notre vaste ensemble de résultats et d'observations pour définir un ensemble de lignes directrices en adoptant le prisme de la perception de la difficulté perçue par les utilisateurs comme un facteur important des gestes multi-doigts lors de la conception de geste multi-doigts. Après avoir étudié les gestes multi-doigts d'un point de vue utilisateur, nous fournissons des outils et des techniques prenant en compte la variabilité de l'utilisateur et qui peuvent être intégrés dans des systèmes d'interaction tactile. Nous proposons d'abord une nouvelle étape de prétraitement, Match-Up, spécifique à des gestes multi-doigts qui structure (pour la première fois dans la littérature) les mouvements des doigts. Nous appliquons ensuite Match-Up dans le cadre de la reconnaissance (Match-Up & Conquer), et nous obtenons une amélioration des taux de reconnaissance de 10%. Enfin, nous introduisons le concept du mouvement rigide et nous étudions son potentiel pour rendre l'interaction plus flexible. En particulier, nous montrons comment il peut libérer l'interaction d'utiliser un nombre prédéterminé de doigts, ainsi que d'une trace pré-établie. Mots-clés: geste tactile multi-doigts, études utilisateur, taxonomie de geste, variabilité du geste, analyse du geste, structure du geste, géométrie du geste, cinématique du geste, difficulté de production d'un geste, reconnaissance du geste, structuration de mouvement de doigts, interaction tactile gestuelle

Jury

Directeur de Thèse : GRISONI Laurent - Professeur - Université de Lille 1 ROUSSEL Nicolas - Directeur de recherche - Inria Lille Nord Europe Rapporteurs : JORGE Joaquim - Professeur - Université Technique de Lisbonne (UTL) NIGAY Laurence - Professeur - Université Joseph Fourier Grenoble 1 (UJF) Membres : HACHET Martin - Chargé de recherche - HDR - Inria Bordeaux LECOLINET Eric - Maître de conférence - Télécom ParisTech GRIMAUD Gilles - Professeur - Université de Lille1 VATAVU Radu-Daniel - Maître de conférence - Université Stefan cel Mare, Romanie (Invité)

Thesis of the team MINT defended on 10/12/2014