FATE - Tests Adaptatifs et Frugaux

Coordinateur : Monsieur Rémy Degenne INRIA de l’Université de Lille - CRIStAL

Équipe : SCOOL du Groupe Thématique : DatInG.

Dates : 10/22 - 01/27

Résumé :

Lors d’un processus de test, des observations sont rassemblées à propos d’un système inconnu (par exemple un nouveau médicament et un placebo) afin de répondre à une question (par exemple quel traitement est le plus efficace). Un protocole de test est bon s’il permet d’arrêter le test après un nombre faible d’observations tout en trouvant la bonne réponse avec grande probabilité. Dans des applications où on dispose d’un grand nombre d’observations comme la publicité en ligne, des algorithmes (dits algorithmes de bandits) adaptent la manière dont ils rassemblent les observations futures en fonction des informations obtenues précédemment. On peut montrer que ces méthodes s’arrêtent aussi tôt que possible, en particulier plus rapidement que des algorithmes non-adaptatifs. En revanche les garanties théoriques sur le temps d’arrêt de ces méthodes ne sont pas adaptées à des applications dans lesquelles le nombre d’observations disponibles est faible, comme les essais cliniques. Néanmoins les performances expérimentales des algorithmes de bandits dans ce régime sont prometteuses. Le premier objectif de FATE est d’adapter les algorithmes de bandits au régime du faible nombre d’observations et de prouver qu’ils permettent des tests plus rapides que des protocoles moins adaptatifs.

Une autre difficulté des essais cliniques est le temps long entre l’administration d’un médicament et son effet. Attendre le résultat de chaque test avant de décider quel médicament donner au patient suivant (adaptabilité totale) n’est pas faisable. Nous déterminerons le niveau d’adaptabilité nécessaire pour conserver un avantage par rapport aux protocoles non-adaptatifs. Enfin certains tests cliniques ont un objectif double : à la fois trouver le meilleur traitement, mais en même temps soigner le plus grand nombre possible de patients. Les compromis optimaux entre ces deux buts ne sont pas connus et notre troisième objectif est de les déterminer et d’élaborer des algorithmes qui les atteignent.

Abstract

Testing is the process of gathering observations about an unknown system (for example a new drug and a placebo) in order to answer a question (e.g. which treatment is more efficient). Good testing protocols are such that the test can be stopped after few observations, while obtaining a correct answer with high probability. In applications where a large number of observations is available, like online advertising, algorithms that can adaptively change their future gathering of observations based on previously obtained information (called bandit algorithms) can be shown to stop as early as possible. In particular, they stop faster than non-adaptive algorithms. However the guarantees on the stopping time of these methods are insufficient for applications in which the number of observations available is small, like clinical trials. Nonetheless, experimental evaluation of bandit algorithms show promising performance in that case. The first goal of FATE is to adapt bandit algorithms to the regime where observations are scarce and to prove that they allow faster testing than less adaptive protocols.

Beyond the number of observations, a challenge of clinical trials is the long delay between administration of a drug and observation of the effect. Waiting for each observation before deciding which drug should be given to the next patient (full adaptivity) is not feasible. We will investigate how much adaptivity is needed to retain its benefits over non-adaptive protocols. Finally, some clinical tests have a double objective : find the best drug, while at the same time curing as many patients as possible. Optimal trade-offs between the two goals are unknown and our third objective is to find them and provide methods which attain them.