Thèse de Meyssa Zouambi

Optimiser l'apprentissage profond : Explorer la recherche d'architecture neuronale, de la théorie à la pratique

Dans le domaine de l'apprentissage profond, la conception et l'optimisation des architectures neuronales sont essentielles pour obtenir des modèles performants. Ce processus, basé sur des essais et erreurs, a été effectué manuellement pendant des décennies et consomment beaucoup de temps et de ressources. Ce travail se penche sur le domaine de la recherche d'architecture neurale, ou Neural Architecture Search (NAS), une technique prometteuse qui vise à automatiser ce processus. Ce travail explore les complexités des NAS, mettant en évidence les défis à naviguer dans l'immense espace de recherche des architectures potentielles. Il étudie des méthodes basées sur la recherche locale et propose deux algorithmes efficaces centrés autour de celle-ci, à savoir LS-Weight et LS-PON. Chaque méthode offre une approche distinctive pour intégrer des connaissances pendant la recherche afin de proposer des stratégies plus efficientes et frugale. De plus, étant donné que les modèles d'apprentissage profond sont souvent régis par plusieurs objectifs concurrents tels que la précision, la complexité, et l'efficacité de calcul, notre recherche s'intéresse également à l'optimisation multi-objectifs au sein des NAS. Cela garantit que les architectures résultantes sont non seulement performantes pour la tâche pour laquelle elles sont conçues, mais également alignées sur plusieurs critères essentiels pour les applications réelles. À cet effet, ce travail propose une nouvelle approche au NAS multi-objectif qui aborde certains problèmes trouvés dans la littérature. De plus, il analyse la complexité du passage des benchmarks aux données réelles, en proposant un protocole qui guide les praticiens dans leur utilisation des NAS pour leurs problèmes. Enfin, reconnaissant l'importance des applications du domaine, ce travail présente des expérimentations basées sur l'imagerie médicale pour valider ces contributions. Il présente également une étude détaillée sur l'utilisation des NAS dans le domaine de la santé, en analysant plus de 40 contributions dans la littérature et en offrant un point de départ pour de futurs travaux du domaine.

Jury

Mme Clarisse DHAENENS Université de Lille Directrice de thèse. Mme Julie JACQUES Université de Lille Examinatrice. Mme Samira SADAOUI University of Regina Rapporteure. M. Philippe PREUX Université de Lille Examinateur. M. Nicolas MONMARCHé Université de Tours Examinateur. M. Alexandre CAMINADA Polytech Nice Sophia Rapporteur.

Thèse de l'équipe ORKAD soutenue le 08/12/2023