Plus de détails sur les contenus des UEs sur le site AMU du master

Organisation générale

Le M2 est organisé en deux semestres.

  • Le premier semestre (le semestre 3, S3) est un semestre de cours
  • Le second semestre (S4) est consacré au stage.

Semestre 3

Les cours du semestre 3 sont organisés en un tronc commun et des cours d’option.

Tronc commun

Tous les cours de Tronc Commun sont obligatoires

  • Modélisation et résolution pour l’optimisation (3 crédits) : [Descriptif]
  • Traitement du langage naturel et linguistique (3 crédits) : [Descriptif]
  • Data science et deep learning (9 crédits)
  • Anglais S3 (3 crédits)
  • Communication (3 crédits), comptabilisée sur le deuxième semestre

Options

Vous devez choisir 4 modules (12 crédits) parmi les deux blocs d’options suivants, avec la contrainte que vous devez choisir au minimum 3 de vos options dans le premier bloc et au maximum une option dans le bloc 2 qui sont des UEs d’autres masters disciplinaires.

Semestre 4

Le semestre 4 inclut:

  • UE communication (3 crédits) : [Descriptif]
  • Stage de cinq à six mois (27 crédits)

Détails sur les UEs

Maths pour l’intelligence artificielle

Objectifs de l’UE

L’objectif de cette UE est de donner les outils mathématiques pour comprendre le fonctionnement des outils utilisés pour l’intelligence artificielle. Le cours commencera par l’introduction des outils statistiques et probabiliste nécessaire pour la compréhension des problématiques induite par l’IA. Ensuite seront abordé les outils d’optimisation numérique pour la minimisation de fonction continue ou discrète. Il sera aussi abordé les développements récents pour l’amélioration de ces méthodes.

Programme détaillé

  1. Introduction à la statistique et aux probabilités pour l’IA (3h CM 6h TD).
  2. Algèbre linéaire avancée (3h CM 6h TD).
  3. Calcul différentiel et optimisation numérique (3h CM 6h TD).

Bibliographie :

Équipe enseignante

Hachem Kadri (responsable) (5h CM et 9h TD)

François-Xavier Dupé (4h CM et 9h TD)

Science des données

Objectifs de l’UE

L’objectif de ce cours est de former les étudiants à pouvoir répondre à une compétition Kaggle quelle qu’elle soit avec des méthodes avancées de machine learning. Le cours dresse un panorama avancé de l’apprentissage automatique qu’il s’agisse des paradigmes d’apprentissage (supervisé, non supervisé, semi-supervisé, actif, transductif…), des tâches (classification, régression, ranking, metric learning, prédiction structurée, classification multilabel, multi-instances ou multitaches) ou des méthodes.

Programme détaillé

1. Rappels et généralités

  • Contexte et enjeux
  • Introduction à l’apprentissage automatique supervisé 
  • Mise au point d’un système par apprentissage automatique (évaluation, Grid-Search, Validation croisée)

2. Panorama des méthodes de classification supervisée

  • kPPV, Arbres de décision
  • SVM et méthodes à noyaux
  • Régression logistique

3. Généralisation

  • Minimisation du risque structurel
  • Borne de généralisation
  • Sélection de variables

4. Apprentissage et données sociales

  • Filtrage collaboratif, recommandation et ranking
  • Inférence dans les graphes (réseaux sociaux)

5. Apprentissage non supervisé

  • Clustering et méthodes à variables latentes (LSA, LDA, Topic models, etc)

6. Autres cadres d’apprentissage

  • Apprentissage semi-supervisé et transductif
  • Adaptation de domaine et transfert
  • Few shot learning

Équipe enseignante

Thierry Artières (responsable), Hachem Kadri, Cécile Capponi, Valentin Emiya

Traitement du langage naturel et linguistique

Objectifs de l’UE

Le traitement automatique du langage naturel est à la confluence de nombreuses disciplines, dont la linguistique, l’apprentissage automatique, l’intelligence artificielle…

L’objectif de cette UE est de présenter d’une part un certain nombre de tâches linguistiques, tel que l’analyse morphologique, syntaxique, sémantique et discursive et, d’autre part, la manière de les formaliser dans le but de les automatiser. On mettra en particulier l’accent sur la prédiction d’arbres et de graphes qui sont utilisées pour l’analyse syntaxique et sémantique.

Programme détaillé

  • Représentation des structures syntaxiques, sémantiques et discursive pour le langage naturel.
  • Prédiction de structures par exploration complète de l’espace de recherche
  • Prédiction gloutonne de structures

Bibliographie:

  • Dependency Parsing, Sandra Kübler, Ryan McDonald, Joakim Nivre, Morgan Claypool, 2009
  • Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition, Daniel Jurafsky, James Martin, Pearson Intrernational Edition, 2008

Équipe enseignante

Alexis Nasr (responsable)

Deep learning

Objectifs de l’UE

Le deep learning a permis des avancées majeures pour des problèmes difficiles tels que des tâches de perception (vision, audition), de traitement de la langue (traduction…). Cette technologie envahit de nombreux champs applicatifs est est intégrée dans des systèmes industriels chez de multiples acteurs y compris les plus grands (Google, Microsoft, Amazon, Facebook, etc). L’objectif du cours est de former les étudiants à l’utilisation de toolkits de deep learning et à la conception de systèmes basés sur des architectures classiques, autoencodeurs, réseaux convolutionnels, réseaux récurrents, et des idées récentes telles que les embeddings, l’adversarial learning, les mécanismes d’attention…

Programme détaillé

  1. Introduction aux réseaux de neurones

o Perceptrons multicouches et Autoencodeurs

o Stratégies de régularisation : L1, L2, Parcimonie, Dropout

  1. Architectures convolutionnelles

o Convolution temporelle et spatiale, couches de dilatation

o Hiérarchie de représentations. Visualisation des filtres

o Généricité des représentations apprises

  1. Optimisation de modèles profonds

o Algorithmes d’optimisation et variantes (SGD, Adam, Adagrad, RMSprop…), Local et Batch Normalization

o Augmentation des données

o Grid Searching

  1. Modèles à mémoire et mécanismes d’attention

o Memory networks, end-to-end memory networks

o Mécanismes d’attention

  1. Adversarial Learning

o GANs, Adversarial Autoencoders et Variational Autoencoders

o Variantes conditionnelles: CGANs, ICGANs, Cyclyc GANS etc

  1. Architectures très profondes et conception de systèmes

o Présentation des architectures très profondes : Vgg, Highway Networks, ResNets, Networks

o Réutilisation d’architectures existantes pour la conception d’applications

Au cours des TPs un travail en équipe sera réalisé  sur des compétitions Kaggle. Au choix (à actualiser en fonction des compétitions du moment): Plant Seedlings Classification, Dog Breed Identification, ImageNet Object Detection Challenge)

Équipe enseignante

Thierry Artières, Stéphane Ayache, Ronan Sicre

Modélisation et résolution pour l’optimisation

Objectifs de l’UE

Cette UE fait suite à l’UE Modélisation et résolution pour la décision du M1.

Parmi les problèmes réels, les problèmes d’optimisation sont en général plus fréquents que les problèmes de décision. De plus, leur résolution est souvent plus difficile que celle des problèmes de décision associés et nécessite des techniques de résolution adaptés.

Les formalismes à base de contraintes, comme COP (Problème d’Optimisation sous Contraintes), WCSP (CSP Pondérés), et Max-SAT (Satisfiabilité maximum), permettent d’exprimer aisément des problèmes d’optimisation en mettant en relation des variables à l’aide de contraintes ou de clauses.

Ils offrent un cadre relativement puissant permettant de représenter de nombreux problèmes industriels et académiques (problème d’allocation de fréquence, ordonnancement, cryptographie, bioinformatique, etc.)  tout en disposant d’outils efficaces (solveurs) pour leur résolution.

Pour chaque formalisme, l’étudiant devra appréhender les techniques de résolution et surtout être capable de modéliser de nouveaux problèmes. Différentes modélisations étant envisageables, il devra être en mesure d’orienter ses choix en tenant compte des spécificités des solveurs employés.

Programme détaillé

Plan du cours :

  • Cours 1 / TD 1 (2h) : COP (formalisme et résolution)
  • Cours 2 / TD 2  (3h) : WCSP (formalisme et résolution)
  • Cours 3 / TD 3 (5h) : Max-SAT (formalisme et résolution)

Équipe enseignante

Djamal Habet

Cyril Terrioux (responsable)

UE Communication

Nature de l’UE

Il s’agit pour un étudiant de travailler sur un/des article(s) scientifique(s), pendant la période de mi novembre à fin-janvier, et de présenter oralement son travail. Les sujets sont proposés par l’équipe pédagogique du parcours, vous pouvez si vous le souhaitez proposer un sujet (sous réserve de validation par l’équipe pédagogique du parcours).

Le travail individuel est réalisé en coordination avec un encadrant, et est clos par une présentation du travail réalisé autour de l’article devant un jury, suivie de questions/discussion

Le volume de travail est conséquent, et correspond à une UE de 3ECTS.

Evaluation

  • La note donnée par le jury sera basée uniquement sur la qualité de la présentation orale et de la réponse aux questions
  • Le format de la présentation n’est pas imposé : l’étudiant pourra utiliser des diapos, le tableau, s’appuyer sur des notes, etc.

Calendrier approximatif

* Début Novembre : Choix des étudiants
 * Fin Janvier : Soutenance orale

Apprentissage par renforcement

Objectifs de l’UE

L’objectif de cet UE est de fournir à l’étudiant les bases de l’apprentissage par renforcement. Les thématiques abordées seront : algorithmes de bandit, Monte Carlo Tree Search, TD-learning. Le TP et le TD seront consacrés à la réalisation d’un projet : programme de jeu de réflexion, pilotage de voiture, commande de robot.

Programme détaillé

Plan du cours

  • Multi-armed bandits — algorithme UCB
  • Multi-armed bandits — algorithme Thompson Sampling
  • Monte Carlo Tree search
  • Markov Decision process
  • TD Learning

Travail en binôme sur des projets.

Bibliographie (disponibles en ligne)

  • Reinforcement Learning: An Introduction, by Richard S. Sutton and Andrew G. Barto
  • Algorithms for Reinforcement learning, by Csaba Szepesvari

Équipe enseignante

Responsable de l’UE : Valentin Emiya

Signal, Apprentissage et Multimédia

Objectifs de l’UE

Cette UE fournit un bagage minimal de connaissances et compétences sur le traitement des données séquentielles telles que les signaux audio, les images, les vidéos. Elle s’adresse à un public d’informaticiens ayant vocation à traiter ces types de données et n’ayant pas suivi une formation de traitement des signaux, images et vidéo en mathématiques. Les objectifs sont:

  • d’acquérir des connaissances et compétences de base ainsi qu’une expérience dans le traitement des données multimédia (audio, image, vidéo) et les tâches d’apprentissage associées
  • de prendre du recul sur des problèmes et méthodes génériques aux différentes modalités, considérées comme des séquences, afin de pouvoir transférer ces approches d’un domaine à l’autre

Programme détaillé

Les notions seront introduites et illustrées de façon à favoriser d’une part une compréhension intuitive et d’autre part un formalisme approprié pour une utilisation pratique (programmation, expérimentation), en minimisant les pré-requis mathématiques nécessaires.

Plan :

  • Bases d’échantillonnage et de temps-fréquence (6h environ): définition, théorème d’échantillonnage de Shannon, notion de repliement spectral, exemples dans les images et les sons.
  • Notions de filtrage et de convolution (6h environ) : formulation, interprétation fréquentielle, exemples de filtres (lissage, dérivation, etc.) et d’application aux images et aux sons, lien avec les couches convolutives des réseaux de neurones
  • Segmentation des images et des signaux audio, extraction de caractéristiques (MFCC, etc.), notions de perception (6h environ)
  • Une application parmi plusieurs possibilités (9h environ):
    • Reconnaissance (ou synthèse) de la parole : élaboration d’un système de reconnaissance de phonème à partir de MFCC par réseaux de neurones
    • Voice activity detection, détection parole/musique/silence, classification de genres musicaux
    • Bandwidth extension en audio / Super-résolution dans les images
    • Cross-modalité: espace de représentation cross-modaux ou traduction d’une modalité en une autre.

Équipe enseignante

Responsables de l’UE : Valentin Emiya et Benoit Favre 

Prédictions structurées pour le traitement automatique du langage naturel

Objectifs de l’UE

Décrire ici l’état dans lequel on veut que l’étudiant soit après avoir suivi l’UE : ce que l’on veut lui faire comprendre, qu’il sache faire à la fin de l’UE.

Programme détaillé

Mettre ici le plan du cours, les prérequis, ainsi que,  éventuellement

  • les noms des chapitres,
  • les noms des séances de TD informatique prévues
  • travail en équipe pendant les TD, sur projet
  • une courte bibliographie

Équipe enseignante

Benoit Favre (responsable)

Raisonnement automatique en milieu industriel

Objectifs de l’UE

L’objectif de cette option de préparer les étudiants au monde de l’entreprise en leur donnant un maximum d’éléments leur permettant de comprendre ce qui sépare les connaissances académiques de ce qui se fait en pratique en IA : différence entre modèles théoriques et cas réels, quels algos ou méthodes sont réellement utilisées, ce qui est théoriquement efficace l’est-il en pratique ? faut-il complexifier les modèles ou simplifier/approximer le pb à résoudre pour qu’il rentre dans le modèle, etc

Programme détaillé

L’UE est construite à partir de projets et données fournis par des industriels (en 2020-2021: Criteo, Euranova, Cosling, Datactivist). Les étudiants qui suivent le module sont répartis en groupe, un groupe par projet, et chaque groupe travaille sur le cas concret de son projet en interactions avec le responsable industriel.

Chaque groupe doit écrire un rapport de projet ainsi que les livrables demandés par le responsable du projet industriel et présenter ses résultats lors d’une soutenance orale devant un jury.

Équipe enseignante

N. Prcovic (Responsable de l’UE)

Théorie de l’apprentissage et statistique non paramétrique

Objectifs de l’UE

Ce cours présente les concepts fondamentaux de l’apprentissage automatique, y compris la description et l’analyse de plusieurs algorithmes modernes, leur base théorique et l’illustration de leurs applications. Le cours abordera les notions suivantes : capacité de généralisation, complexité de Rademacher, stabilité algorithmique, SVM, méthodes à noyau, parcimonie, online-learning.

Programme détaillé

Plan (Cours au Tableau et TD sur machine) :

Cours 1 : Introduction générale – Concepts et algorithmes (2h)

Cours 2 : Complexité de Rademacher et VC-dimension (2h)

Cours 3 : SVM et méthodes à noyau (2h)

Cours 4 : Stabilité (2h)

Cours 5 : Parcimonie (2h)

Cours 6: Apprentissage en ligne (2h)

TD 1 : Classification binaire (3h)

TD 2 : Classification multi-class (3h)

TD 3 : Régression et parcimonie (2h)

TD 4 : Apprentissage en ligne (2h)

TD 5 : TD noté et présentation d’articles

Référence :

Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2012.

Équipe enseignante

Equipe enseignante : Hachem Kadri (responsable de l’UE) et François-Xavier Dupé

Introduction aux Sciences Cognitives (ouverture incertaine)

Objectifs de l’UE

L’objectif principal de l’UE est de fournir aux étudiants une connaissance approfondie de l’histoire de cette discipline scientifique récente dénommé “Sciences cognitives”, de son objet d’étude (la cognition humaine), de l’évolution des hypothèses sur la nature/ architecture cognitive sous-tendant l’esprit humain (cybernétique, cognitiviste-symbolique, connexionniste-sub-symbolique, incarnée, ancrée) ainsi que des grandes questions débattues au cours de cette évolution (par exemple, l’esprit humain utilise-t-il des symboles ? des représentations ?). Pour faciliter la compréhension de questions scientifiques quelquefois ardues, des exemples concrets issus d’études sur le langage seront étudiés, un des domaines phares dans l’évolution du cadre théorique des sciences cognitives.

Programme détaillé

Plan du cours

  • Qu’est-ce que les Sciences Cognitives ?
  • Les conceptions de l’architecture de l’esprit humain
  • L’exemple de l’étude du langage

Bibliographie

  • Andler, D. (éd 2004). Introduction aux sciences cognitives. Gallimard.
  • Fodor, J. (1986). La modularité de l’esprit. Les éditions de Minuit.  

Équipe enseignante

Pascale Colé (Psychologie Cognitive (CNU 16))

Langage et Cognition (ouverture incertaine)

Objectifs de l’UE

A venir

Programme détaillé

A venir

Introduction à la Neurobiologie

Objectifs de l’UE

Ce cours a pour but de donner des bases de neurobiologie et neurophysiologie.

Programme détaillé

  • L’organisation générale du système nerveux
  • Les signaux électriques des cellules nerveuses
  • La transmission synaptique et les neurotransmetteurs
  • Les bases des systèmes sensoriels et moteurs

Équipe enseignante

Laurence Casini (neurosciences)

Franck Chaillan (neurosciences)