PAMELA - Apprentissage automatique décentralisé et personnalisé sous contraintes

Porteur : Marc Tommasi, Professeur Université de Lille CRIStAL

Équipe : MAGNET du Groupe Thématique : DatInG

PRCE - Projet de recherche collaborative Entreprises - Privé/Public

Partenaires : Snips, Inria Lille - Nord Europe CRIStAL.

Dates : 2016 / 2020

Résumé :

Le projet Pamela vise à développer un nouveau paradigme pour l’apprentissage automatique décentralisé. Les objectifs de ce projet sont motivés par des problématiques et applications concrètes fournies par nos partenaires : SNIPS et Mediego. Ces deux entreprises développent des systèmes de recommandation décentralisés et des outils de prédiction embarqués dans les assistants personnalisés de smartphones. Les défis portent sur le traitement de données massives, distribuées dans des réseaux, mais avec un caractère essentiel de contrainte de respect de la vie privée. Notre objectif scientifique est donc d’étudier l’apprentissage de modèles personnalisés locaux, de façon décentralisée et coopérative au sein de réseaux où sont distribués données et apprenants. Les contributions scientifiques de ce projet seront à la fois d’ordre théoriques et algorithmiques en apprentissage automatique. Elles seront co-construites dans un consortium regroupant des experts métier, des compétences en apprentissage automatique, algorithmique distribuée et en protection de la vie privée. Nous développerons des méthodes d’apprentissage en ligne et batch pour des nœuds du réseau capables d’exploiter les modèles appris par les nœuds voisins, ou encore d’accéder partiellement à leurs données ou leur représentation. Les algorithmes d’apprentissage visent à intégrer directement les contraintes de communication dans les réseaux et le respect de la vie privée dans des compromis optimaux. Dans un souci de passage à l’échelle, ils devront également estimer de façon adaptative les collaborations les plus profitables pour l’amélioration de leurs performances. Des résultats théoriques sur les ressources nécessaires à l’apprentissage ou les vitesses de convergence, les résolutions de compromis entre performance et respect de la vie privée sont attendus.

Abstract

The Pamela project aims at developing machine learning theories and algorithms in order to learn local and personalized models from data distributed over networked infrastructures. Our project seeks to provide first answers to modern information systems built by interconnecting many personal devices holding private user data in the search of personalized suggestions and recommendations. More precisely, we will focus on learning in a collaborative way with the help of neighbors in a network. We aim to lay the first blocks of a scientific foundation for these new types of systems, in effect moving from graphs of data to graphs of data and learned models. We argue that this shift is necessary in order to address the new constraints arising from the decentralization of information that is inherent to the emergence of big data. We will in particular focus on the question of learning under communication and privacy constraints. A significant asset of the project is the quality of its industrial partners, Snips and Mediego, who bring in their expertise in privacy protection and distributed computing as well as use cases and datasets. They will contribute to translate this fundamental research effort into concrete outcomes by developing personalized and privacy-aware assistants able to provide contextualized recommendations on small devices and smartphones.