Les Réseaux de Neurones Artificiels (RNAs) sont des modèles prédictifs permettant de résoudre certaines tâches complexes par un apprentissage automatique. Depuis ces trois dernières décennies, les RNAs ont connu de nombreuses avancées majeures. Notamment avec les réseaux de convolution ou les mécanismes d'attention. Ces avancées ont permis le développement de la reconnaissance d'images, des modèles de langage géants ou de la conversion texte-image. En 1943, les travaux de McCulloch et Pitt sur le neurone formel faciliteront la naissance des premiers RNAs appelés perceptrons, et décrits pour la première fois par Rosenblatt en 1958. L'apprentissage machine a par la suite connu des périodes de désintérêt dues à des freins, théoriques comme la NP-complétude des problèmes abordés, technologiques comme la limitation de la puissance de calcul, ou encore budgétaires. Depuis les années 1990 et aidé par la démocratisation des processeurs graphiques (GPUs), nous observons un regain d'intérêt exponentiel pour les RNAs menant au printemps de l'intelligence artificielle dans les années 2010, et depuis 2020 au boom des modèles générationnels. Cependant, de nouvelles barrières pourraient freiner l'intérêt pour ces modèles. Le premier frein est la fin de la loi de Moore due aux limites physiques atteintes par les transistors. Le second frein est la consommation énergétique. En effet, tandis que la recherche s'est longtemps concentrée en grande partie sur les performances prédictives des RNAs, d'autres aspects ont été relégués au second plan. C'est le cas de l'efficacité énergétique, mais également de la robustesse, de la sécurité, de l'interprétabilité, de la transparence, etc. C'est pourquoi il faut aller au-delà des architectures de von Neumann qui, à cause de la séparation des unités de calcul et de mémoire, ralentissent le débit des calculs. Ainsi, l'approche neuromorphique est un candidat de rupture sérieux afin de réduire l'empreinte énergétique de l'apprentissage machine. En effet, ce mode de calcul repose sur les Réseaux de Neurones à Impulsions (RNIs), plus fidèles au cerveau biologique. En effet, le cerveau humain consomme uniquement 20 watts pour effectuer simultanément de nombreuses tâches cognitives complexes. Aujourd'hui, les RNIs peinent à surpasser les performances des méthodes classiques. Ceux-ci étant plus récents, et donc moins étudiés, une meilleure approche de leur conception pourrait permettre d'allier performances et faible coût énergétique. C'est pourquoi la conception automatique des RNIs est étudiée dans cette thèse. L'intérêt est notamment porté sur l'Optimisation des HyperParamètres (OHP). Un HyperParamètre (HP) est un paramètre contrôlant divers aspects de l'apprentissage des RNIs, mais dont la valeur ne peut pas être déterminée par l'apprentissage. Ainsi, nous étudions l'impact de l'OHP sur les RNIs et l'impact des RNIs sur l'OHP. Le but étant d'améliorer les algorithmes utilisés et de mieux comprendre le comportement des RNIs au regard de leurs HPs. Dans la littérature, que ce soit pour les RNAs ou RNIs, l'OHP est traité de la même manière. Or, le "No Free Lunch theorem" spécifie qu’il n’existe pas d’algorithme universel significativement efficace pour tous les problèmes d’optimisation. Une conséquence de ce théorème est que, sans connaissances préalables du problème, il est impossible d’optimiser efficacement. On ne peut donc pas choisir un algorithme d’OHP avant d’avoir réellement défini le problème. Ainsi, bien que RNAs et RNIs partagent des propriétés communes, les RNIs sont connus pour leurs propriétés uniques. La littérature fait notamment état d'une extrême sensibilité des performances des RNIs par rapport à leur architecture et à leurs HPs. Par conséquent, appliquer aveuglément les mêmes méthodologies aux RNAs et RNIs pourrait nuire aux performances de l’OHP, et donc de la meilleure solution obtenue.
M. El-Ghazali TALBI Université de Lille Directeur de thèse, M. Timothée MASQUELIER CNRS Rapporteur, M. Amir NAKIB Université Paris-Est Créteil (UPEC) Rapporteur, M. Pierre BOULET Université de Lille Co-directeur de thèse, Mme Marina REYBOZ CEA Leti Examinatrice, M. Philippe PREUX Université de Lille Examinateur.
français
English