Journée Attention de l’axe DAC/Image de NormaStic le 19 octobre

Les axes DAC et Image de la fédération Normastic organisent le 19 octobre prochain à Rouen une journée sur les mécanismes de l’attention en deep learning.

Dans le cadre des réseaux de neurones récurrents, l’attention permet de mettre en valeur des parties spécifiques de l’entrée qui peuvent être considérées comme étant importantes, ce qui améliore la performance du modèle. Les mécanismes de l’attention sont au cœur des Transformers (le T de GPT) et ont beaucoup contribué au succès des méthodes exploitant les LLM (Large Language Model). Les transformers ont également obtenu des performances prometteuses en vision par ordinateur, offrant une alternative aux réseaux convolutifs.

Cette journée sera l’occasion de découvrir ces mécanismes de l’attention et leurs applications.

Nous aurons entre autre le plaisir d’écouter des exposés de :
– Éric Gaussier, MIAI Grenoble
– Jose Moreno, IRIT Toulouse
– Denis Coquenet, IRISA Rennes
– Kirill Milintsevich, GREYC Caen
– Sandratra Rasendrasoa, LITIS Rouen

Programme en cours de construction :

• Éric Gaussier, MIAI Grenoble : De l’attention à ChatGPT : retour sur quelques limitations des grands modèles de langue
  Si les grands modèles de langue ont permis des avancées importantes dans diverses applications, en particulier celles liées au traitement automatique des langues et de la recherche d’information, certaines de leurs caractéristiques intrinsèques limitent leur utilisation dans certains cadres. Leur capacité de généralisation est ainsi limitée, tout comme leur capacité à traiter des documents longs. Nous passerons en revue certaines de ces limitations et mentionnerons les solutions envisagées à l’heure actuelle pour les dépasser.

• Jose Moreno, IRIT Toulouse : Extraction d’information avec des modèles pré-entraînées et grand modèles de langage
  L’enrichissement de grandes collections de documents textuels est une composante primaire pour améliorer l’accès numérique à ce type de contenu. Les techniques récentes pour enrichir des documents sont des modèles de langues neuronaux qui adressent des tâches d’extraction d’information comme l’identification des entités nommées, la liaison référentielle, l’extraction de relation et la détection d’événements. Dans cette présentation, nous allons explorer des travaux récents pour l’extraction d’information ainsi que les améliorations envisageables par les grands modèles de langage et/ou l’introduction de la recherche d’information comme un moyen efficace pour élargir le contexte d’un document.
• François Rioult, GREYC : Tutoriel sur l’attention
  Pour un.e non-spécialiste, les mécanismes de l’attention sont attirants car ils offrent la promesse d’un focus sur une partie de l’information. Mais que sont vraiment ces mécanismes, leur intérêt, leurs limites ?
• Denis Coquenet, IRISA Rennes : Attention is all you need to read
  Cette présentation est dédiée à l’utilisation des mécanismes d’attention dans des architectures d’apprentissage profond, pour la reconnaissance d’écriture manuscrite. Différents types d’attention seront abordés : récurrente, hybride, 1D, 2D, parallélisée. Nous verrons l’utilité de ce type d’approche, et comment cela a permis de faire avancer l’état de l’art dans ce domaine.