CAUSALITY - Inclure la temporalité et la causalité dans la conception de systèmes interactifs

Coordinateur : Monsieur Mathieu Nancel Centre INRIA de l’Université de Lille CRIStAL

Équipe : Loki du Groupe Thématique : I2C.

Dates : 10/18 - 09/24

Résumé :

Dans ce projet d’une durée de quatre ans, nous proposons de repenser la façon dont les chercheurs et les concepteurs d’interfaces comprennent, manipulent, et exploitent la temporalité des Interactions Homme-Machine (IHM). Nous nous attaquons à une limitation fondamentale dans la façon dont les interactions et les interfaces sont conçues et même pensées aujourd’hui, un problème que nous appelons la perte d’information procédurale. C’est la notion que, une fois qu’une tâche a été accomplie par un ordinateur, les informations qui ont été utilisées ou produites lors de son calcul deviennent inaccessibles, quels qu’aient pu être les autres usages possible de ces informations. Là où des progrès majeurs ont sans aucun doute été effectués depuis les toutes premières interfaces graphiques, en termes par exemple d’expressivité en entrée et en sortie, de conception d’interaction, etc., ce problème reste présent à tous les niveaux des systèmes interactifs modernes, et façonne la façon dont nous pensons, concevons, et réalisons les interfaces et les interactions. Cela affecte notre capacité à identifier et à résoudre des problèmes courants d’utilisabilité, ainsi que le développement de nouveaux paradigmes d’interaction.

De manière générale, notre objectif est de déclencher et de guider un changement profond dans la façon dont les systèmes interactifs sont conçus, utilisés et améliorés. Nous pensons qu’un certain nombre de problèmes systématiques avec les interfaces graphiques modernes peut être résolu via l’application d’un principe de conception simple : les changements apportés à l’interface, ou aux données manipulées par l’utilisateur, devraient être datés et suffisamment traçables pour pouvoir déduire les événements d’entrée qui les ont causés, et les paramètres du système qui ont participé à leur calcul. Notre approche est d’explorer, de développer, et de promouvoir des connexions fines entre les causes de ces changements, leur contexte, leur conséquences, et leur temporalité. L’application de ces principes dans la conception et la réalisation des interfaces permettra de résoudre un certain nombre de problèmes d’interaction courants mais rarement considérés, et de permettre de nouvelles opportunités en conception d’interfaces. En particulier, nous utiliserons ce principe pour faciliter la détection et la résolution en temps réel de problèmes de synchronisation courants entre l’utilisateur et le système, tels que la latence ; pour fournir un accès plus étendu à tous les niveaux de donnés d’entrée, et ainsi simplifier la réalisation de nouveaux systèmes interactifs en réduisant le besoin de "hacker" les APIs existantes ; et enfin, pour augmenter les capacité des historiques de commandes, permettant ainsi à l’utilisateur de mieux récupérer de ses erreurs mais aussi d’augmenter son vocabulaire de modification et d’édition, par exemple en réutilisant et en modifiant ses actions passées.

L’originalité de notre approche sera de traiter de nombreux problèmes d’utilisabilité comme découlant d’une même source : l’oubli prématuré d’informations pertinentes sur la façon dont les actions de l’utilisateur se déroulent, et dont leurs conséquences sont calculées. Ce projet est le premier à considérer ces problèmes comme un tout, plutôt que via des corrections individuelles et spécifiques. Il va permettre d’importantes contributions dans de nombreux aspects de l’IHM, par exemple des solutions logicielles pour reconstruire des séquences d’événements entrée-sortie, la conception d’historiques de commandes plus flexibles, la formulation de nouveaux modèles psychomoteurs humains, et la conception et l’évaluation de nouvelles techniques d’interaction et de visualisation pour l’usage informatique au quotidien. Nous avons pour objectif de créer de nouveaux standards académiques et industriels dans la conception et la réalisation d’interactions et de systèmes interactifs.

Abstract

In this 4-year project we propose to revise the way researchers and interaction designers understand, manipulate, and exploit the temporality of Human-Computer Interactions (HCI). The project addresses a fundamental limitation in the way interfaces and interactions are designed and even thought about today, an issue we call procedural information loss. It is the notion that once a task has been completed by a computer, significant information that was used or produced while processing it is rendered inaccessible regardless of the other purposes it could serve. While major progress has undoubtedly been achieved since the first Graphical User Interfaces (GUIs) in terms of e.g. input and output capabilities and performance, interaction design, and so on, this issue remains present at every level of modern interactive systems, and it shapes the way we think, design, and implement interfaces and interactions. We argue that it hampers the identification and solving of identifiable usability issues, as well as the development of new and beneficial interaction paradigms. Overall, we aim to trigger and lead a profound change in the ways all interactive systems are designed, used, and augmented.

We propose that a number of systematic issues with GUIs today can be solved through a single design principle : changes to the interface and to user-manipulated data should be timed and traceable back to the input events that initiated them, and to the system states that participated in their computation. Our approach is to explore, develop, and promote finer granularity and better-described connections between the causes of those changes, their context, their consequences, and their timing. Applying this principle in interface design and implementation will solve a number of existing yet rarely addressed usability problems in all interfaces, and unlock new possibilities in interaction design. In particular, we will apply it to facilitate the real-time detection, disambiguation, and solving of frequent timing issues related to human reaction time and system latency ; to provide broader access to all levels of input data, therefore simplifying the implementation of novel interactive systems and reducing the need to "hack" existing frameworks ; and to greatly increase the scope and expressiveness of command histories, allowing better error recovery but also extended editing capabilities such as reuse and sharing of previous actions.

The originality of this project’s approach consists in treating numerous usability problems from what we identify as a common cause : the lack, or untimely discarding, of relevant information about how changes come to occur in an interactive environment. This project will be the first to address those issues as a whole, rather than as platform-dependent, individual repairs. It will bring significant contributions in numerous aspects of HCI, including software engineering solutions to reconstruct I/O chains of events and design far more flexible histories of commands, novel models of human movement and psychomotor phenomena, and the principled design and evaluation of new and improved interaction and visualization techniques for everyday use of every type of computing systems. We aim for these contributions to become new industry and academic standards in the design and implementation of interactions and interactive systems.