Plus de détails sur les contenus des UEs sur le site AMU du master
Organisation générale
Le M2 est organisé en deux semestres.
- Le premier semestre (le semestre 3, S3) est un semestre de cours
- Le second semestre (S4) est consacré au stage.
Semestre 3
Les cours du semestre 3 sont organisés en un tronc commun et des cours d’option.
Tronc commun
Tous les cours de Tronc Commun sont obligatoires
- Modélisation et résolution pour l’optimisation : [Descriptif]
- Modèles de Langage : [Descriptif]
- Apprentissage Automatique 1 : [Descriptif], [Ressources]
- Deep learning : [Descriptif], [Ressources]
- Maths pour l’intelligence artificielle : [Descriptif]
- Méthodologie [Descriptif]
Options
Vous devez choisir 5 modules dans la liste suivante:
- Apprentissage par renforcement : [Descriptif]
- Signal, apprentissage et multimédia : [Descriptif]
- Prédiction structurée pour le traitement automatique de la langue : [Descriptif]
- Théorie de l’apprentissage et statistique non paramétrique : [Descriptif]
- Apprentissage Automatique 2
- Computer Vision
- Machine Learning pour les Sciences Cognitives
Semestre 4
Le semestre 4 inclut:
- TER (Février Mars) : [Descriptif]
- Stage à partir d’Avril pour cinq à six mois
Détails sur les UEs
Maths pour l’intelligence artificielle
Objectifs de l’UE
L’objectif de cette UE est de donner les outils mathématiques pour comprendre le fonctionnement des outils utilisés pour l’intelligence artificielle. Le cours commencera par l’introduction des outils statistiques et probabiliste nécessaire pour la compréhension des problématiques induite par l’IA. Ensuite seront abordé les outils d’optimisation numérique pour la minimisation de fonction continue ou discrète. Il sera aussi abordé les développements récents pour l’amélioration de ces méthodes.
Programme détaillé
- Introduction à la statistique et aux probabilités pour l’IA (3h CM 6h TD).
- Algèbre linéaire avancée (3h CM 6h TD).
- Calcul différentiel et optimisation numérique (3h CM 6h TD).
Bibliographie :
- Convex Analysis de Boyd et Vandenberghe (https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf)
- The element of statistical learning de Hastie, Tibshirani et Friedman (https://web.stanford.edu/~hastie/ElemStatLearn/)
- Matrix Analysis de Horn et Johnson
Équipe enseignante
Hachem Kadri (responsable) (5h CM et 9h TD)
François-Xavier Dupé (4h CM et 9h TD)
Apprentissage Automatique 1
Objectifs de l’UE
L’objectif de ce cours est de former les étudiants à pouvoir répondre à une compétition Kaggle quelle qu’elle soit avec des méthodes avancées de machine learning. Le cours dresse un panorama avancé de l’apprentissage automatique qu’il s’agisse des paradigmes d’apprentissage (supervisé, non supervisé, semi-supervisé, actif, transductif…), des tâches (classification, régression, ranking, metric learning, prédiction structurée, classification multilabel, multi-instances ou multitaches) ou des méthodes.
Programme détaillé
1. Rappels et généralités
- Contexte et enjeux
- Introduction à l’apprentissage automatique supervisé
- Compromis biais / variance
2. Panorama des méthodes de classification supervisée
- kPPV, Arbres de décision
- SVM et méthodes à noyaux
- Régression logistique
3. Généralisation
- Minimisation du risque structurel
- Borne de généralisation
- Sélection de variables
4. Apprentissage non supervisé
- Clustering et apprentissage de densités
- Algorithme EM
Équipe enseignante
Thierry Artières (responsable), Hachem Kadri, Valentin Emiya
Modèles de Langage
Objectifs de l’UE
Le traitement automatique du langage naturel est à la confluence de nombreuses disciplines, dont la linguistique, l’apprentissage automatique, l’intelligence artificielle…
L’objectif de cette UE est de présenter d’une part un certain nombre de tâches linguistiques, tel que l’analyse morphologique, syntaxique, sémantique et discursive et, d’autre part, la manière de les formaliser dans le but de les automatiser. On mettra en particulier l’accent sur la prédiction d’arbres et de graphes qui sont utilisées pour l’analyse syntaxique et sémantique.
Programme détaillé
- Représentation des structures syntaxiques, sémantiques et discursive pour le langage naturel.
- Prédiction de structures par exploration complète de l’espace de recherche
- Prédiction gloutonne de structures
Bibliographie:
- Dependency Parsing, Sandra Kübler, Ryan McDonald, Joakim Nivre, Morgan Claypool, 2009
- Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition, Daniel Jurafsky, James Martin, Pearson Intrernational Edition, 2008
Équipe enseignante
Alexis Nasr (responsable)
Deep learning
Objectifs de l’UE
Le deep learning a permis des avancées majeures pour des problèmes difficiles tels que des tâches de perception (vision, audition), de traitement de la langue (traduction…). Cette technologie envahit de nombreux champs applicatifs est est intégrée dans des systèmes industriels chez de multiples acteurs y compris les plus grands (Google, Microsoft, Amazon, Facebook, etc). L’objectif du cours est de former les étudiants à l’utilisation de toolkits de deep learning et à la conception de systèmes basés sur des architectures classiques, autoencodeurs, réseaux convolutionnels, réseaux récurrents, et des idées récentes telles que les embeddings, l’adversarial learning, les mécanismes d’attention…
Programme détaillé
- Réseaux de neurones et apprentissage de représentations
- Architectures classiques (fully connected, convolutionnelles, récurrentes, attention)
- Intérêt de la profondeur et problématiques d’optimisation de modèles profonds
- Generative Adversarial Networks
- Conception de systèmes neuronaux
Équipe enseignante
Thierry Artières
Modélisation et résolution pour l’optimisation
Objectifs de l’UE
Cette UE fait suite à l’UE Modélisation et résolution pour la décision du M1.
Parmi les problèmes réels, les problèmes d’optimisation sont en général plus fréquents que les problèmes de décision. De plus, leur résolution est souvent plus difficile que celle des problèmes de décision associés et nécessite des techniques de résolution adaptés.
Les formalismes à base de contraintes, comme COP (Problème d’Optimisation sous Contraintes), WCSP (CSP Pondérés), et Max-SAT (Satisfiabilité maximum), permettent d’exprimer aisément des problèmes d’optimisation en mettant en relation des variables à l’aide de contraintes ou de clauses.
Ils offrent un cadre relativement puissant permettant de représenter de nombreux problèmes industriels et académiques (problème d’allocation de fréquence, ordonnancement, cryptographie, bioinformatique, etc.) tout en disposant d’outils efficaces (solveurs) pour leur résolution.
Pour chaque formalisme, l’étudiant devra appréhender les techniques de résolution et surtout être capable de modéliser de nouveaux problèmes. Différentes modélisations étant envisageables, il devra être en mesure d’orienter ses choix en tenant compte des spécificités des solveurs employés.
Programme détaillé
Plan du cours :
- Cours 1 / TD 1 (2h) : COP (formalisme et résolution)
- Cours 2 / TD 2 (3h) : WCSP (formalisme et résolution)
- Cours 3 / TD 3 (5h) : Max-SAT (formalisme et résolution)
Équipe enseignante
Djamal Habet
Cyril Terrioux (responsable)
Méthodologie (M2)
Objectifs de l’UE
Ce cours porte sur la méthodologie, les pratiques, les conventions et les pièges à éviter en science des données et machine learning (ML). Le parti pris est de s’appuyer sur des exemples concrets, pour ensuite aborder des notions plus abstraites de méthodologie scientifique, afin de (a) rendre agréable le thème de la méthodologie, souvent considéré comme mineur ou ennuyeux, (b) justifier l’importance des notions abstraites, et (c) s’entraîner sur des compétences pratiques utiles et essentielles (p.ex. lors du stage de fin de master).
Programme détaillé
- Conception d’une expérience : question scientifique, pertinence et justification, bibliographie, lecture critique d’articles
- Création de jeux de données : sélection de données, annotation de données, accord inter-annotateur/ice, biais dans les jeux de données
- Environnement expérimental (détails importants) : instabilité des modèles, reproductibilité vs. réplicabilité, hyper-paramétrage, RGPD, aspects éthiques
- Analyse de résultats d’un modèle : métriques d’évaluation, comparaison de systèmes, significativité statistique, test d’hypothèses paramétriques et non paramétriques, p-value
Équipe enseignante
Carlos Ramisch (responsable)
Apprentissage par renforcement
Objectifs de l’UE
L’objectif de cet UE est de fournir à l’étudiant les bases de l’apprentissage par renforcement. Les thématiques abordées seront : algorithmes de bandit, Monte Carlo Tree Search, TD-learning. Le TP et le TD seront consacrés à la réalisation d’un projet : programme de jeu de réflexion, pilotage de voiture, commande de robot.
Programme détaillé
Plan du cours
- Multi-armed bandits — algorithme UCB
- Multi-armed bandits — algorithme Thompson Sampling
- Monte Carlo Tree search
- Markov Decision process
- TD Learning
Travail en binôme sur des projets.
Bibliographie (disponibles en ligne)
- Reinforcement Learning: An Introduction, by Richard S. Sutton and Andrew G. Barto
- Algorithms for Reinforcement learning, by Csaba Szepesvari
Équipe enseignante
Responsable de l’UE : Valentin Emiya
Signal, Apprentissage et Multimédia
Objectifs de l’UE
Cette UE fournit un bagage minimal de connaissances et compétences sur le traitement des données séquentielles telles que les signaux audio, les images, les vidéos. Elle s’adresse à un public d’informaticiens ayant vocation à traiter ces types de données et n’ayant pas suivi une formation de traitement des signaux, images et vidéo en mathématiques. Les objectifs sont:
- d’acquérir des connaissances et compétences de base ainsi qu’une expérience dans le traitement des données multimédia (audio, image, vidéo) et les tâches d’apprentissage associées
- de prendre du recul sur des problèmes et méthodes génériques aux différentes modalités, considérées comme des séquences, afin de pouvoir transférer ces approches d’un domaine à l’autre
Programme détaillé
Les notions seront introduites et illustrées de façon à favoriser d’une part une compréhension intuitive et d’autre part un formalisme approprié pour une utilisation pratique (programmation, expérimentation), en minimisant les pré-requis mathématiques nécessaires.
Plan :
- Bases d’échantillonnage et de temps-fréquence (6h environ): définition, théorème d’échantillonnage de Shannon, notion de repliement spectral, exemples dans les images et les sons.
- Notions de filtrage et de convolution (6h environ) : formulation, interprétation fréquentielle, exemples de filtres (lissage, dérivation, etc.) et d’application aux images et aux sons, lien avec les couches convolutives des réseaux de neurones
- Segmentation des images et des signaux audio, extraction de caractéristiques (MFCC, etc.), notions de perception (6h environ)
- Une application parmi plusieurs possibilités (9h environ):
- Reconnaissance (ou synthèse) de la parole : élaboration d’un système de reconnaissance de phonème à partir de MFCC par réseaux de neurones
- Voice activity detection, détection parole/musique/silence, classification de genres musicaux
- Bandwidth extension en audio / Super-résolution dans les images
- Cross-modalité: espace de représentation cross-modaux ou traduction d’une modalité en une autre.
Équipe enseignante
Responsables de l’UE : Valentin Emiya et Benoit Favre
Prédictions structurées pour le traitement automatique du langage
Objectifs de l’UE
Ce cours introduit des modèles, algorithmes, ressources et outils pour la résolution de problèmes structurés en traitement automatique des langues (TAL), en particulier à l’aide de méthodes d’apprentissage profond (deep learning).
Programme détaillé
- Introduction aux tâches et à la modélisation des problèmes structurés en TAL, notamment pour l’étiquetage de séquences
- Programmation pytorch avancée pour des tâches complexes (modules, batches, …)
- Modèles de markov cachés et algorithme de Viterbi, avec application à l’étiquetage et à la segmentation de textes
- Modélisation du vocabulaire via des informations sous-lexicales, p.ex. à l’aide de modèles RNN ou convolution 1D sur les caractères
- Usage de modèles de langage pré-entraînésà base de transformeurs (p.ex. BERT) pour la prédiction structurée, embeddings contextuels, fine-tuning
- Analyse syntaxique probabiliste avec/sans grammaire (p.ex. PCFG, transitions, graphes)
Équipe enseignante
Carlos Ramisch (responsable)
Ce cours a été adapté à partir du cours PSTALN par Benoit Favre :
https://pageperso.lis-lab.fr/benoit.favre/pstaln/
Théorie de l’apprentissage et statistique non paramétrique
Objectifs de l’UE
Ce cours présente les concepts fondamentaux de l’apprentissage automatique, y compris la description et l’analyse de plusieurs algorithmes modernes, leur base théorique et l’illustration de leurs applications. Le cours abordera les notions suivantes : capacité de généralisation, complexité de Rademacher, stabilité algorithmique, SVM, méthodes à noyau, parcimonie, online-learning.
Programme détaillé
Plan (Cours au Tableau et TD sur machine) :
Cours 1 : Introduction générale – Concepts et algorithmes (2h)
Cours 2 : Complexité de Rademacher et VC-dimension (2h)
Cours 3 : SVM et méthodes à noyau (2h)
Cours 4 : Stabilité (2h)
Cours 5 : Parcimonie (2h)
Cours 6: Apprentissage en ligne (2h)
TD 1 : Classification binaire (3h)
TD 2 : Classification multi-class (3h)
TD 3 : Régression et parcimonie (2h)
TD 4 : Apprentissage en ligne (2h)
TD 5 : TD noté et présentation d’articles
Référence :
Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2012.
Équipe enseignante
Equipe enseignante : Hachem Kadri (responsable de l’UE) et François-Xavier Dupé
Introduction aux Sciences Cognitives (ouverture incertaine)
Objectifs de l’UE
L’objectif principal de l’UE est de fournir aux étudiants une connaissance approfondie de l’histoire de cette discipline scientifique récente dénommé “Sciences cognitives”, de son objet d’étude (la cognition humaine), de l’évolution des hypothèses sur la nature/ architecture cognitive sous-tendant l’esprit humain (cybernétique, cognitiviste-symbolique, connexionniste-sub-symbolique, incarnée, ancrée) ainsi que des grandes questions débattues au cours de cette évolution (par exemple, l’esprit humain utilise-t-il des symboles ? des représentations ?). Pour faciliter la compréhension de questions scientifiques quelquefois ardues, des exemples concrets issus d’études sur le langage seront étudiés, un des domaines phares dans l’évolution du cadre théorique des sciences cognitives.
Programme détaillé
Plan du cours
- Qu’est-ce que les Sciences Cognitives ?
- Les conceptions de l’architecture de l’esprit humain
- L’exemple de l’étude du langage
Bibliographie
- Andler, D. (éd 2004). Introduction aux sciences cognitives. Gallimard.
- Fodor, J. (1986). La modularité de l’esprit. Les éditions de Minuit.
Équipe enseignante
Pascale Colé (Psychologie Cognitive (CNU 16))