L'établissement d'un ordre temporel entre les événements et la résolution des références de pontage sont cruciaux pour la compréhension automatique du discours. Pour cela, des représentations efficaces d'événements et de mentions sont essentielles pour résoudre avec précision la classification des relations temporelles et la résolution des ponts. Cette thèse aborde exactement cela et conçoit de nouvelles approches pour obtenir des représentations d'événements et de mentions plus expressives. Des informations contextuelles et de bon sens sont nécessaires pour obtenir de telles représentations efficaces. Cependant, les acquérir et les injecter est une tâche difficile car, d'une part, il est difficile de distinguer le contexte utile lui-même de paragraphes ou de documents plus volumineux et tout aussi difficile de traiter de plus grands contextes informatiquement. D'un autre côté, obtenir des informations de bon sens comme les humains en acquièrent reste une question de recherche ouverte. Les tentatives antérieures de représentations manuelles d'événements et de mentions ne sont pas suffisantes pour acquérir des informations contextuelles. De plus, la plupart des approches sont inadéquates pour capturer des informations de bon sens, car elles ont à nouveau eu recours à des approches sélectives pour acquérir ces informations à partir de sources telles que des dictionnaires, le Web ou des graphiques de connaissances. Dans notre travail, nous nous débarrassons de ces approches inefficaces d'obtention de représentations d'événements et de mentions. Premièrement, nous obtenons des informations contextuelles pour améliorer les représentations d'événements en fournissant des n-mots voisins de l'événement. Nous constatons que nos représentations d'événements améliorées démontrent des gains substantiels par rapport à une approche qui ne reposait que sur les incorporations de tête d'événement. De plus, notre étude sur l'ablation prouve l'efficacité de l'apprentissage par interaction complexe ainsi que le rôle des incrustations de caractères. Ensuite, nous sondons des modèles de langage de transformateur (par exemple, BERT) qui se sont avérés meilleurs pour capturer le contexte. Nous étudions spécifiquement l'inférence de pontage pour comprendre la capacité de ces modèles à capturer des informations de pontage. Le but de cette enquête est d'utiliser ces compréhensions pour prendre des décisions éclairées lors de la conception de meilleurs modèles de transformateurs afin d'améliorer encore les représentations des mentions. Pour cela, nous examinons individuellement la structure interne du modèle puis l'ensemble du modèle. L'enquête montre que les modèles pré-entraînés sont étonnamment bons pour capturer des informations de transition et que ces capacités dépendent fortement du contexte, car elles fonctionnent mal avec des contextes déformés. Enfin, nous combinons à la fois des informations contextuelles et de bon sens pour améliorer encore les représentations des événements et des mentions. Nous adoptons une approche fondée sur des principes pour acquérir de telles connaissances où nous utilisons des plongements de nœuds de graphe appris sur des graphes de connaissances pour capturer la topologie globale du graphe, obtenant ainsi des informations externes holistiques. Plus précisément, nous avons utilisé des intégrations de nœuds de graphe apprises sur Wordnet et TEMPROB et les avons combinées avec des intégrations de texte uniquement telles que word2vec, BERT, etc. pour obtenir des représentations conscientes. Nous avons évalué notre approche sur des ensembles de données standard comme ISNotes, BASHI et ARRAU pour combler la résolution d'anaphores et MATRES pour la classification des relations temporelles.
M. Marc TOMMASI - Université de Lille - Directeur de thèse M. Vincent NG - University of Texas, Dallas, United States of America - Rapporteur Mme Ivana KRUIJFF-KORBAYOVA - Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI), Germany - Rapporteure M. Pascal DENIS - CRIStAL, Universite de Lille. INRIA Lille t Examinateur M. Liva RALAIVOLA - Aix-Marseille Université, France. Criteo AI Lab - Examinateur M. Philippe MULLER - Université Paul Sabatier - Examinateur Mme Natalia GRABAR - Université de Lille - Examinatrice M. Sylvain SALVATI - CRIStAL, Université de Lille, INRIA Lille - Examinateur
Thesis of the team MAGNET defended on 23/09/2021
français
English