Thesis of Yuan Chen

Informatique de bureau pervasive par manipulation directe d’une lampe augmentée

L'informatique de bureau, qui reste le moyen principal de réaliser efficacement une large gamme de tâches, continue d'afficher des informations confinées aux écrans. De nombreuses tentatives d'affichage au-delà d'un seul écran se sont révélées prometteuses, allant de l'utilisation de plusieurs écrans à l'utilisation de projecteurs ou de casques de réalité mixte. Cependant, cette extension se fait souvent à partir de l'écran du bureau vers d'autres appareils, sans tenir compte de l'environnement physique et des activités de l'utilisateur. Cette thèse explore une nouvelle forme de système projecteur-caméra à manipulation directe, qui exploite les caractéristiques uniques du mouvement physique d'une lampe de bureau pour manipuler du contenu interactif vers et depuis l'écran de bureau, mais aussi vers et depuis différents dispositifs et le reste de l'environnement physique, tout cela en conservant une connaissance du contexte de l'espace de travail. Trois projets explorent la conception, le prototypage et les facteurs humains associés à un système de lampe augmentée dans lequel la lampe fonctionne comme un dispositif d'entrée et de sortie reliant l'ordinateur de bureau et l'environnement physique. Dans le premier projet, un espace de conception d'interaction est introduit pour la manipulation physique directe à l'aide d'une lampe d'architecte avec une preuve de concept utilisant un projecteur et un système de suivi des mouvements. Nous démontrons son potentiel à travers trois scénarios, décrivons les résultats de l'étude évaluant son potentiel et détaillons les implications en termes de conception. Dans le second projet, nous étudions les impacts sur la performance de l'utilisateur et les stratégies d'interaction lorsqu'il interagit avec une lampe augmentée dans un espace de bureau. Nous menons une expérience contrôlée en réalité virtuelle pour comprendre l'impact de deux mécanismes de contrôle pour les tâches d'acquisition de cibles avec un affichage dynamique de type peephole : "couplé", lorsque le centre de l'affichage est utilisé pour la sélection et "découplé", lorsque la sélection est gérée par des entrées séparées comme le toucher direct. Nous constatons que les deux mécanismes de contrôle présentent des différences subtiles en termes de temps de réalisation de la tâche et d'erreur, mais que les utilisateurs suivent des stratégies différentes pour coordonner le mouvement de l'écran dynamique avec les différentes techniques d'acquisition de cibles. Dans le troisième projet, nous explorons cette observation dans un contexte plus général. En utilisant un environnement de réalité virtuelle contrôlé, nous menons une expérience pour étudier si ce que les utilisateurs ont l'intention de faire avec une cible virtuelle a un impact sur la façon dont ils planifient et effectuent l'acquisition initiale de la cible. Nos résultats permettent de comprendre les profils de mouvement de l'utilisateur avant l'acquisition pour différentes interactions prévues avec la même cible. Nous discutons de la manière dont ces profils de mouvement peuvent ensuite être utilisés pour améliorer la conception de la lampe, par exemple en y intégrant des capteurs de force pour améliorer la prise de compte de l'activité de l'utilisateur. L'ensemble de ces résultats sont prometteurs pour étendre l'informatique de bureau actuelle à l'environnement physique du bureau, sur la base d'une compréhension plus approfondie des activités de l'utilisateur dans cet espace.

Jury

M. Géry CASIEZ Université de Lille Directeur de thèse, Mme Caroline APPERT Université Paris Saclay Examinatrice, M. Marcos SERRANO University of Toulouse 3 Rapporteur, M. Daniel VOGEL University of Waterloo Co-directeur de thèse, M. Sylvain MALACRIA Inria Examinateur, Mme Nadine COUTURE Univ. Bordeaux ESTIA-Institute of Technology Examinatrice, M. Scott BATEMAN University of New Brunswick Rapporteur, M. Mark HANCOCK University of Waterloo Examinateur.

Thesis of the team Loki defended on 20/09/2024