EMERGENCES - Modèles émergents proche physique pour l’IA embarquée

Responsables projet : Marina Reyboz, Commissariat à l’Énergie Atomique et aux Énergies Alternatives (CEA), Gilles Sassatelli, Directeur de recherche CNRS

Membres impliqués : Université de Lille CRIStAL

Équipes : Émeraude EAST du Groupe Thématique : SISE
Équipe : BONUS du Groupe Thématique : OPTIMA

Résumé :

L’intelligence artificielle induit des changements profonds dans les paysages scientifiques, économiques, politiques et sociétaux contemporains. Une décennie après sa « renaissance », l’apprentissage automatique continue à réaliser des avancées sur de nombreux fronts, au prix cependant d’une boulimie de ressources informatiques induisant une consommation électrique préoccupante. Les modèles de langage actuels comportent quelques centaines de milliards de paramètres et consomment pour leur entraînement seul plusieurs GWh, ce qui aujourd’hui motive la recherche d’approches (de rupture) plus sobres.
En plus des diverses initiatives visant à développer des composants et systèmes numériques pensés pour l’IA et dotés d’une meilleure efficacité énergétique, des approches disruptives en IA doivent être développées pour viser des gains énergétiques encore plus importants. Cette évolution passera probablement par l’utilisation de modèles différents de ceux utilisés traditionnellement en apprentissage et présentant des propriétés proches des comportements de composants physique, en facilitant par là-même l’implantation.
Le projet Emergences vise à faire avancer l’état de l’art sur les modèles émergents proches de la physique en explorant de manière collaborative divers modèles de calcul en utilisant les propriétés de différents dispositifs physiques. Les efforts seront concentrés sur trois fronts distincts : les modèles évènementiels bio-inspirés, les modèles inspirés de la physique et les solutions d’apprentissage automatique innovantes proches de la physique. Les investigations porteront sur l’IA embarquée pour l’« Edge AI », où le besoin d’une efficacité énergétique accrue est prégnant, pour l’inférence et pour l’apprentissage qui pourra être incrémental. Elles viseront plusieurs domaines d’application allant par exemple de la surveillance de l’environnement à la santé. Les investigations seront menées sur la base d’outils communs, de métriques de performance et d’analyse du passage à l’échelle des modèles qui feront l’objet d’une initiative transversale collaborative.
Emergences entend également étendre les activités de recherche collaboratives au-delà du périmètre du consortium, en lien avec d’autres projets PEPR comme le PEPR Electronique ou les autres projets du PEPR IA et au-delà d’autres laboratoires, certains desquels figurent dans cette proposition. Enfin, en raison des implications sociales et philosophiques inévitables de l’IA en tant que telles, Emergences mènera de manière concurrente aux activités de recherche une réflexion visant à analyser et anticiper l’impact de ses contributions à venir.

Abstract

Contemporary machine learning (ML) has incurred profound changes in the scientific, societal and economic landscapes alike. After a decade of sustained progress AI as a discipline is still making regular breakthroughs on many fronts, at the expense of an ever-increasing amount of consumption of compute resources. Modern language models feature hundreds of billion parameters and training energy consumption alone likely falls in the GWh range, with a logical forecast worsening the already prohibitive carbon footprint of AI.
Besides the flourishing initiatives aimed at defining AI-friendly digital compute stack, the next logical breakthrough on the horizon is undoubtedly the emergence of disruptive AI compute technologies having improved energy efficiency. This development will likely involve the utilization of models that differ from those traditionally used in ML and exhibit properties that resemble the behavior of physical components, thereby facilitating implementation.
The Emergences project aims at advancing the state-of-the art on near-physics emerging models by collaboratively exploring various computation models leveraging physical devices properties.
Efforts will be put on 3 distinct fronts : Event-based models, Physics-inspired models and innovative near-physics ML solutions. The investigations will be focused on embedded systems for Edge AI that call for increased energy efficiency for inference and learning, which could be incremental. They will apply to several application domains ranging for instance from the monitoring of the environment to health. Other important tasks such as common tools, performance metrics definition and model scalability analysis and will be conducted through as a collaborative transverse initiative.
Emergences further intends to extend the collaborative research activities beyond the fence of the consortium by means of connecting with other projects of the PEPR IA and other research institutes, some of which are listed in this proposal. Finally, because of the unavoidable societal and philosophical implications of AI as a whole, Emergences will concurrently to the research activities run a track aimed at analyzing and anticipating the impact of its upcoming contributions.