Thesis of Catherine Huyghe

Reconnaissance d’actions humaines par vision pour la robotique d’assistance à l’autonomie à domicile

Ces dernières années, le développement de la robotique a permis l’utilisation de robots dans l’assistance au maintien à domicile (AAD). Ils sont utilisés à différents niveaux pour permettre aux personnes vulnérables, en raison de leur âge, d’une maladie ou d’un handicap, d’acquérir un certain niveau d’autonomie. Ils peuvent être utilisés, par exemple, pour aider à accomplir des tâches quotidiennes ou pour alerter les soignants ou les membres de la famille en cas de situation dangereuse ou anormale. La chute ou l’immobilité sur le sol sont des exemples importants de ces situations dangereuses ou anormales. Notre thèse s'inscrit dans le domaine de la vision par ordinateur, et en particulier dans celui de la reconnaissance des actions humaines qui serait déployé à terme dans le contexte de la robotique d’assistance au maintien à domicile. Nous proposons une approche pour la reconnaissance des actions humaines basée sur la segmentation sémantique des parties du corps humain, afin de se concentrer sur le corps humain et de traiter les mouvements partiels ou lents ainsi que l’immobilité. En effet, dans le contexte de la robotique d’assistance au maintien à domicile, il est essentiel de considérer les mouvements des personnes, les périodes d’immobilité, ainsi que les mouvements de la caméra provoqués par le déplacement du robot. La littérature accorde peu d’attention aux immobilisations et aux mouvements de caméra. Dans le cadre de la validation de notre approche, de nombreux ensembles de données destinés à la reconnaissance des actions humaines sont disponibles et couvrent un large éventail d’activités générales ou quotidiennes, mais ils couvrent moins le cas des situations anormales. Lorsque des actions spécifiques sont disponibles, elles ne sont souvent pas adaptées au contexte de la robotique d’assistance. Pour valider notre approche, nous proposons également un nouveau jeu de données qui couvre certaines situations spécifiques utiles dans le contexte de l’assistance au maintien à domicile. Dans notre thèse, nous étudions le meilleur couplage entre les modalités d’entrée et les architectures de reconnaissance d’actions humaines pour une application dans un robot d’assistance au maintien à domicile. Notre étude s'apparente à un problème d'optimisation, où chaque architecture est associée à un sous-ensemble de modalités d’entrée. Notre objectif est de maximiser la précision du système de reconnaissance d’actions. L'optimisation repose sur une fonction objectif évaluant les performances de chaque combinaison modalité-architecture en termes de précision. Dans ce processus, nous prenons en considération les spécificités des différentes architectures. Notre étude expérimentale nous permettra de déterminer les meilleures associations modalité-architecture, contribuant ainsi à la création d’une solution robuste et efficace pour la robotique d’assistance au maintien à domicile.

Jury

M. Chaabane DJERABA CRIStAL Directeur de thèse. M. Nacim IHADDADENE JUNIA ISEN Examinateur. M. Hichem SAHBI Lip6, Université Sorbonne Rapporteur. M. Yannick BENEZETH Université de Bourgogne Rapporteur. Mme Clarisse DHAENENS Université de Lille Examinatrice. M. Abdenour BOUZOUANE Université du Québec Examinateur.

Thesis of the team FOX defended on 06/12/2023