APROVIS3D - Traitement analogique des capteurs de vision bioinspirés pour la reconstruction 3D

Coordinateur : Jean MARTINET (Laboratoire informatique, signaux systèmes de Sophia Antipolis)

Partenaire : Pierre Boulet Université de Lille CRIStAL

Équipe : Émeraude du Groupe Thématique : SISE.

Dates : 04/20 - 03/23

Résumé :

Le projet APROVIS3D vise l’informatique analogique pour l’intelligence artificielle sous la forme de réseaux neuronaux de type Spiking (SNN) sur une architecture mixte analogique et numérique. Le projet comprend un réseau analogique programmable sur le terrain (FPAA) et SpiNNaker appliqué à un système de stéréopsie dédié à la surveillance des côtes à l’aide d’un robot aérien. Les systèmes de vision par ordinateur s’appuient largement sur l’intelligence artificielle et en particulier sur l’apprentissage automatique basé sur les réseaux neuronaux, qui ont récemment acquis une grande visibilité. L’étape d’apprentissage des réseaux neuronaux convolutionnels profonds est à la fois longue et énergivore. En revanche, le cerveau humain est capable d’effectuer des tâches visuelles avec une efficacité inégalée en termes de calcul et d’énergie. On pense que l’un des principaux facteurs de cette efficacité est le fait que l’information est largement représentée par de courtes impulsions (pointes) à des moments analogiques - et non discrets. Cependant, les algorithmes de vision par ordinateur utilisant cette représentation font encore défaut dans la pratique, et leur potentiel élevé est largement sous-exploité. Inspiré de la biologie, le projet aborde la question scientifique du développement d’une architecture de détection et de traitement analogique de bout en bout et à faible consommation de scènes visuelles 3D, fonctionnant sur des dispositifs analogiques, sans horloge centrale, et vise à les valider dans des situations de la vie réelle.
Plus précisément, le projet développera de nouveaux paradigmes pour la vision d’inspiration biologique, de la détection au traitement, afin d’aider les machines telles que les véhicules autonomes sans pilote (UAV), les véhicules autonomes ou les robots à acquérir une compréhension de haut niveau des scènes visuelles. La vision ambitieuse à long terme du projet est de développer le paradigme d’IA de la prochaine génération qui finira par concurrencer l’apprentissage profond. Nous pensons que l’informatique neuromorphique, principalement étudiée dans les pays de l’UE, sera une technologie clé dans la prochaine décennie. Il s’agit donc d’un défi à la fois scientifique et stratégique pour l’UE de favoriser cette percée technologique. Le consortium de quatre pays de l’UE offre une combinaison unique d’expertise dont le projet a besoin. Des spécialistes des réseaux neuronaux de différents domaines, tels que les capteurs visuels (IMSE, Espagne), l’architecture des réseaux neuronaux et la vision par ordinateur (Université de Lille, France) et les neurosciences computationnelles (INT, France) feront équipe avec des spécialistes de la robotique et du contrôle automatique (NTUA, Grèce) et des concepteurs de systèmes intégrés de faible puissance (ETHZ, Suisse) pour aider les chercheurs en géoinformatique (UNIWA, Grèce) à construire un drone de démonstration pour la surveillance côtière (TRL5).
En plus de leur intérêt commun pour l’informatique analogique et la vision par ordinateur, tous les membres de l’équipe ont beaucoup à offrir en raison de leurs points de vue et de leur expertise différents et complémentaires. Les principaux défis de ce projet seront la conception d’un système analogique de bout en bout (de la détection au contrôle du drone basé sur l’IA et à la reconstruction volumétrique côtière en 3D), l’efficacité énergétique et l’utilisation pratique dans des conditions réelles. Nous visons à montrer qu’une telle conception analogique bioinspirée apportera de grands avantages en termes d’efficacité énergétique, d’adaptabilité et d’efficacité nécessaires pour rendre la surveillance côtière avec des drones pratique et plus efficace que les approches numériques.

Abstract

APROVIS3D project targets analog computing for artificial intelligence in the form of Spiking Neural Networks (SNNs) on a mixed analog and digital architecture. The project includes including field programmable analog array (FPAA) and SpiNNaker applied to a stereopsis system dedicated to coastal surveillance using an aerial robot. Computer vision systems widely rely on artificial intelligence and especially neural network based machine learning, which recently gained huge visibility. The training stage for deep convolutional neural networks is both time and energy consuming. In contrast, the human brain has the ability to perform visual tasks with unrivalled computational and energy efficiency. It is believed that one major factor of this efficiency is the fact that information is vastly represented by short pulses (spikes) at analog – not discrete – times. However, computer vision algorithms using such representation still lack in practice, and its high potential is largely underexploited. Inspired from biology, the project addresses the scientific question of developing a low-power, end-to-end analog sensing and processing architecture of 3D visual scenes, running on analog devices, without a central clock and aims to validate them in real-life situations.
More specifically, the project will develop new paradigms for biologically inspired vision, from sensing to processing, in order to help machines such as Unmanned Autonomous Vehicles (UAV), autonomous vehicles, or robots gain high-level understanding from visual scenes. The ambitious long-term vision of the project is to develop the next generation AI paradigm that will eventually compete with deep learning. We believe that neuromorphic computing, mainly studied in EU countries, will be a key technology in the next decade. It is therefore both a scientific and strategic challenge for the EU to foster this technological breakthrough. The consortium from four EU countries offers a unique combination of expertise that the project requires. SNNs specialists from various fields, such as visual sensors (IMSE, Spain), neural network architecture and computer vision (Uni. of Lille, France) and computational neuroscience (INT, France) will team up with robotics and automatic control specialists (NTUA, Greece), and low power integrated systems designers (ETHZ, Switzerland) to help geoinformatics researchers (UNIWA, Greece) build a demonstrator UAV for coastal surveillance (TRL5).
Adding up to the shared interest regarding analog based computing and computer vision, all team members have a lot to offer given their different and complementary points of view and expertise. Key challenges of this project will be end-to-end analog system design (from sensing to AI-based control of the UAV and 3D coastal volumetric reconstruction), energy efficiency, and practical usability in real conditions. We aim to show that such a bioinspired analog design will bring large benefits in terms of power efficiency, adaptability and efficiency needed to make coastal surveillance with UAVs practical and more efficient than digital approaches.