Les activités de recherche de l’équipe FOX visent à analyser le comportement humain à partir de flux vidéos, aux niveaux foule et individu. Les données visuelles sont abondantes dans nos vies quotidiennes, incluant les archives audiovisuelles, les vidéos disponibles sur le Web, ou celles issues de la vidéosurveillance. Ces données se caractérisent par leur grande richesse en termes de couleurs, textures et mouvements. Les difficultés de l’analyse automatique de vidéos proviennent d’une part de la variabilité d’apparence des objets et personnes visibles (dues aux changements de position, d’illumination ou d’expression faciale et aux occultations possibles), et d’autre part du grand volume et de l’hétérogénéité de ces données. L’équipe développe des modèles de mouvement et d’apparence pour la détection, le suivi, et la reconnaissance d’objets et de personnes, l’analyse d’événements et d’activités et la reconnaissance d’états affectifs. Les applications possibles incluent :

• les interactions homme-machine : par exemple, l’analyse de gestes via des caméras pour les transformer en commandes ou encore l’analyse des expressions faciales pour rendre l’informatique affective et empathique ;
• la sécurité, comme par exemple l’analyse de mouvements de foule et le suivi de personnes pour détecter des situations anormales ;
• le marketing, comme par exemple la reconnaissance du genre (homme/femme) d’une personne face à un panneau interactif pour personnaliser un message publicitaire ;
• et l’indexation multimédia, comme par exemple la structuration automatique d’archives audiovisuelles selon leurs contenus.