Journée « Deep Learning » de l’axe Données, Apprentissage, Connaissances

Mardi 28 juin 2016

Cette journée est consacrée au au « Deep Learning » et plus généralement à l’apprentissage automatique. Elle comporte un tutoriel de Romain Hérault (équipe App, LITIS) sur les réseaux de neurones profonds et plusieurs exposés illustrant différents aspects de ces domaines de recherche. Que vous soyez novice ou expérimenté dans ces domaines, cette journée est faite pour vous ! Le programme inclut aussi une intervention de Luc Brun sur le labx MinMacs (Mathématiques et sciences de l’Information en Normandie).

La journée se déroulera au GREYC (Caen) :
– matin : amphi S3 045 (rez de chasusée du bâtiment S3)
– après-midi : salle S3 351.

Programme :

• 9h30 : accueil/café
• 10h00 : « Learning Deep Neural Network » (Romain Hérault, LITIS). Diapos. Voir résumé ci-dessous.
• 11h00 : « Deep Multi-Task Learning with evolving weights » (Soufiane Belharbi, LITIS). Diapos. Voir résumé ci-dessous.
• 11h30 : « Labex MinMacs » (Luc Brun). Présentation et discussion.
• Déjeuner
• 14h15 : «Soft Pooling of Learned Parts for Image Classification » Kulkarni Praveen (Technicolor).  Diapos. Voir résumé ci-dessous.
• 14h45 : « Fully Convolutional Networks for Vehicule Detection in Aerial Imagery » Jean Ogier du Terrrail (Safran Electronics & Defense et GREYC). Diapos. Voir résumé ci-dessous.
• 15h15 : « Cascade de réseaux BLSTM vérifiée par le lexique pour la reconnaissance d’écriture manuscrite » (Clément Chatelain, LITIS). Diapos. Voir résumé ci-dessous.
• 15h45 : conclusion de la journée et vie de l’axe DAC (groupes de travail, bilan de l’appel à projets 2016, préparation de l’appel à projets 2017 et modification financière,…)
• fin de la journée vers 16h30

Titles and abstracts / Titres et résumés des présentations:

Romain Hérault (LITIS) « Learning Deep Neural Network »

Abstract: In this talk we will addresses the problem of learning Deep Neural Network (DNN) through the use of smart initializations or regularizations:
– Introduction to perceptron, multilayer perceptron and back-propagation
– Deep Neural Network and the vanishing gradient problem
– Smart initializations and topologies (stacked autoencoders, convolutional neural networks)
– Regularizing (denoising and contractive AE, dropout, multi-objects

Soufiane Belharbi (LITIS) « Deep Multi-Task Learning with evolving weights »

Abstract: Pre-training of deep neural networks has been abandoned in the last few years. The main reason is the difficulty to control the over-fitting and tune the consequential raised number of hyper-parameters. In this paper we use a multi-task learning framework that gathers weighted supervised and unsupervised tasks. We propose to evolve the weights along the learning epochs in  order to avoid the break in the sequential transfer learning used in the pre-training scheme. This framework allows the use of unlabeled data. Extensive experiments on MNIST showed interesting results.

Kulkarni Praveen (Technicolor) « Soft Pooling of Learned Parts for Image Classification »

Abstract:   The aggregation of images statistics – the so-called pooling step of image classification algorithms – as well as the construction of part-based models are two distinct and well-studied topics in the litera- ture. The former aims at leveraging a whole set of local descriptors an image can contain (through spatial pyramids or Fisher vectors for instance) while the latter argues that only a few of the regions an image contains are actually useful for its classification. This paper bridges the two worlds by proposing a new pooling framework based on the discovery of useful parts involved in the pooling of local representations. The key contribution lies in a model integrating a boosted non-linear part classifier as well as a parametric soft-max pooling component, both trained jointly with the image classifier. The whole system has been implanted as a part of deep neural architecture. The experimental validation shows that the proposed model not only consistently surpasses standard pooling approaches but also improves over state-of-the-art part-based models, on several different and challenging classification tasks.

 Jean Ogier du Terrrail (Safran Electronics & Defense et GREYC) « Fully Convolutional Networks for Vehicule Detection in Aerial Imagery »

Abstract: Until recently detecting objects in images often involved scanning all possible locations of the target in the image using a sliding window and manually extracting descriptors or features (SIFT,HOG,Fisher vectors,…). Thanks to deep learning not only can we learn features transformation and classification jointly but we can also remove the expensive sliding window step from the pipeline without any loss of performance. We will explain the detection process thoroughly.

Clément Chatelain (LITIS) « Cascade de réseaux BLSTM vérifiée par le lexique pour la reconnaissance d’écriture manuscrite »

Résumé: La reconnaissance de l’écriture manuscrite est une tâche difficile alliant le traitement d’image et le traitement de la langue. Récemment des modèles de réseaux de neurones récurrents à base de LSTM ont permis des progrès significatifs dans ce domaine. Ces réseaux sont généralement couplés avec des connaissances lexicales et linguistiques au moment du processus de décodage afin de corriger les erreurs de reconnaissance au niveau caractère, typiquement à l’aide d’un décodage dirigé par le lexique. Pourtant les performances élevées des réseaux LSTM laissent entrevoir la possibilité de les utiliser en s’affranchissant de ce type de processus. Nous proposons dans ce travail un décodage sans lexique que nous couplons à une méthode de vérification par le lexique. Cette méthode de contrôle par le lexique présente des propriétés intéressantes et nous permet de combiner efficacement des réseaux LSTM en les mettant en cascade. Cette approche permet d’accélérer le décodage, tout en étant peu sensible au changement de taille de lexique. Notre approche présente des résultats prometteurs, permettant d’avoir une erreur faible, en concédant une part de rejets. Ces rejets peuvent être finalement traités par un décodage classique dirigé par le lexique, permettant de nous placer proches des meilleures méthodes à l’état de l’art.