Carte d’identité du projet

Video presentation: Deep in France in 5 minutes

Titre du projet : Deep in FranceRéseaux de neurones profonds pour l’apprentissage automatique / Machine learning with deep neural networks
Type de recherche : Recherche Collaborative soutenue par l’ANR (DS0705) 2016 ANR-16-CE23-0006
Début et durée du projet : mars 2017 – 42 mois
Partenaires: LITIS, GREYC, INRIA Grenoble, LIP6, LIF, I3S
Coordinateur : Stéphane CanuLITISINSA Rouen Normandie
Défi : 7 Société de l’information et de la communication,
Orientation prioritaire : 28 Exploitation des grandes masses de données
Principaux domaines de recherche : Green deep learning, apprentissage statistique / Machine learning, statistical data processing and big data
Slack privé du projet

Résumé du projet

Du fait de l’abondance des données, les techniques d’apprentissage automatique doivent maintenant être à même de gérer des informations de plus en plus massives et complexes (vidéo, sons, paroles, textes, clics, recommandation). A titre d’exemple, l’un des principaux défis pour la reconnaissance d’objets dans les images de la communauté de vision par ordinateur, l’ensemble des données de la base IMAGEnet implique des millions d’exemples et des milliers de classes. En parallèle, le matériel informatique évolue rapidement avec les nouveau GPU et ces progrès récents en calcul haute performance, ce qui change la nature des recherches dans le domaine de l’apprentissage automatique. L’exploitation complète des données disponibles et de la puissance de calcul implique la recherche de nouveaux moyens efficaces pour paralléliser les algorithmes d’apprentissage. En raison de leurs récents résultats, cela concerne en premier lieu les réseaux de neurones à architecture profonde (l’apprentissage profond), technique d’apprentissage qui tire partie très judicieusement de la puissance de calcul des GPU.

Le projet de recherche collaboratif Deep in France, soutenu par l’ANR, vise à élargir les frontières de l’apprentissage profond en associant l’informatique massivement parallèle à l’apprentissage automatique dans une démarche résolument durable. Son but est de développer la théorie et de proposer nouveaux algorithmes d’apprentissage profond pour faciliter et généraliser son utilisation à différents domaines d’applications encore sous explorés tels que la perception intégrée, la compréhension de scènes audio ou vidéo et la robotique.

Les goulots d’étranglement abordés par Deep en France sont à la fois théoriques, méthodologiques et algorithmiques. L’apprentissage profond souffre de l’absence d’un cadre théorique clair et adapté. En outre, il n’existe pas encore de principe simple permettant de déterminer l’architecture, la nature des unités, le nombre et la largeur des couches et la connectivité du réseau optimal à utiliser pour une tâche donnée. Le processus d’optimisation soulève également de nombreuses questions. Est-ce que le gradient stochastique est la meilleur méthode d’optimisation à utiliser ? Comment pré entrainer et interpréter les unités ? Quelle est l’importance de l’apprentissage non supervisé tel que cité dans l’article récent de la revue de Nature sur le sujet.

Par nature, l’apprentissage profond est très demandeur en calcul intensif en raison du nombre et de la taille des données disponibles, en raison de la nature parallèle de gradient stochastique et de l’architecture profonde. Ce fait soulève beaucoup de questions concernant la nature de l’architecture matérielle nécessaire, le type de réseau profond à utiliser et les outil logiciels permettant de faciliter les phases de conception de d’entraînement.

Notre projet vise également à rapprocher le domaine de l’apprentissage automatique à des domaines connexes comme ceux de la vision par ordinateur ou de l’écoute automatique par ordinateur (machine listening) afin de fournir à ses communautés la connaissance, la visibilité et les outils permettant de positionner la France parmi les principaux acteurs du domaine sur la scène internationale. La vision à long terme de Deep en France est d’ouvrir de nouvelles frontières et de favoriser la recherche vers des algorithmes capables de découvrir automatiquement le sens de ses perceptions, un tremplin vers un but final plus lointain et plus ambitieux : amener les machines à raisonner.