Plus de détails sur les contenus des UEs sur le site AMU du master

Organisation générale

Le M2 est organisé en deux semestres.

  • Le premier semestre (le semestre 3, S3) est un semestre de cours
  • Le second semestre (S4) est consacré au stage.

Semestre 3

Les cours du semestre 3 sont organisés en un tronc commun et des cours d’option.

Tronc commun

Tous les cours de Tronc Commun sont obligatoires

Options

Vous devez choisir 5 modules dans la liste suivante:

Semestre 4

Le semestre 4 inclut:

  • TER (Février Mars) : [Descriptif]
  • Stage à partir d’Avril pour cinq à six mois

Détails sur les UEs

Maths pour l’intelligence artificielle

Objectifs de l’UE

L’objectif de cette enseignement est de compléter la formation suivie en M1 informatique pour s’assurer que les étudiants possèdent le bagage mathématiques minimal nécessaire pour une utilisation maîtrisée des outils de l’apprentissage automatique.

Programme détaillé

  1. Optimisation continue
    1. Rappel : fonctions lisses, non convexes, sans contraintes
    2. Fonctions lisses, non convexes, avec contraintes
    3. Fonctions lisses, convexes, avec ou sans contraintes (et dualité)
    4. Ouverture vers le cas des fonctions non-lisses (convexes ou non, avec ou sans contraintes)
  2. Probabilités et statistique
    1. Calcul probabiliste et estimateur du maximum de vraisemblance
    2. Biais, variance et risque d’un estimateur
  3. Algèbre linéaire
    1. Interprétations des opérations matricielles
    2. Décomposition en valeurs singulières et application à l’étude de la régression linéaire

Équipe enseignante

Thomas Schatz

Apprentissage Automatique 1

Objectifs de l’UE

L’objectif de ce cours est de former les étudiants à pouvoir répondre à une compétition Kaggle quelle qu’elle soit avec des méthodes avancées de machine learning. Le cours dresse un panorama avancé de l’apprentissage automatique qu’il s’agisse des paradigmes d’apprentissage (supervisé, non supervisé, semi-supervisé, actif, transductif…), des tâches (classification, régression, ranking, metric learning, prédiction structurée, classification multilabel, multi-instances ou multitaches) ou des méthodes.

Programme détaillé

1. Rappels et généralités

  • Contexte et enjeux
  • Introduction à l’apprentissage automatique supervisé 
  • Compromis biais / variance

2. Panorama des méthodes de classification supervisée

  • kPPV, Arbres de décision
  • SVM et méthodes à noyaux
  • Régression logistique

3. Généralisation

  • Minimisation du risque structurel
  • Borne de généralisation
  • Sélection de variables

4. Apprentissage non supervisé

  • Clustering et apprentissage de densités
  • Algorithme EM

Équipe enseignante

Thierry Artières (responsable), Hachem Kadri, Valentin Emiya

Modèles de Langage

Objectifs de l’UE

Le traitement automatique du langage naturel est à la confluence de nombreuses disciplines, dont la linguistique, l’apprentissage automatique, l’intelligence artificielle…

L’objectif de cette UE est de présenter d’une part un certain nombre de tâches linguistiques, tel que l’analyse morphologique, syntaxique, sémantique et discursive et, d’autre part, la manière de les formaliser dans le but de les automatiser. On mettra en particulier l’accent sur la prédiction d’arbres et de graphes qui sont utilisées pour l’analyse syntaxique et sémantique.

Programme détaillé

  • Représentation des structures syntaxiques, sémantiques et discursive pour le langage naturel.
  • Prédiction de structures par exploration complète de l’espace de recherche
  • Prédiction gloutonne de structures

Bibliographie:

  • Dependency Parsing, Sandra Kübler, Ryan McDonald, Joakim Nivre, Morgan Claypool, 2009
  • Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition, Daniel Jurafsky, James Martin, Pearson Intrernational Edition, 2008

Équipe enseignante

Alexis Nasr (responsable)

Deep learning

Objectifs de l’UE

Le deep learning a permis des avancées majeures pour des problèmes difficiles tels que des tâches de perception (vision, audition), de traitement de la langue (traduction…). Cette technologie envahit de nombreux champs applicatifs est est intégrée dans des systèmes industriels chez de multiples acteurs y compris les plus grands (Google, Microsoft, Amazon, Facebook, etc). L’objectif du cours est de former les étudiants à l’utilisation de toolkits de deep learning et à la conception de systèmes basés sur des architectures classiques, autoencodeurs, réseaux convolutionnels, réseaux récurrents, et des idées récentes telles que les embeddings, l’adversarial learning, les mécanismes d’attention…

Programme détaillé

  1. Réseaux de neurones et apprentissage de représentations
  2. Architectures classiques (fully connected, convolutionnelles, récurrentes, attention)
  3. Intérêt de la profondeur et problématiques d’optimisation de modèles profonds
  4. Generative Adversarial Networks
  5. Conception de systèmes neuronaux

Équipe enseignante

Thierry Artières

Modélisation et résolution pour l’optimisation

Objectifs de l’UE

Cette UE fait suite à l’UE Modélisation et résolution pour la décision du M1.

Parmi les problèmes réels, les problèmes d’optimisation sont en général plus fréquents que les problèmes de décision. De plus, leur résolution est souvent plus difficile que celle des problèmes de décision associés et nécessite des techniques de résolution adaptés.

Les formalismes à base de contraintes, comme COP (Problème d’Optimisation sous Contraintes), WCSP (CSP Pondérés), et Max-SAT (Satisfiabilité maximum), permettent d’exprimer aisément des problèmes d’optimisation en mettant en relation des variables à l’aide de contraintes ou de clauses.

Ils offrent un cadre relativement puissant permettant de représenter de nombreux problèmes industriels et académiques (problème d’allocation de fréquence, ordonnancement, cryptographie, bioinformatique, etc.)  tout en disposant d’outils efficaces (solveurs) pour leur résolution.

Pour chaque formalisme, l’étudiant devra appréhender les techniques de résolution et surtout être capable de modéliser de nouveaux problèmes. Différentes modélisations étant envisageables, il devra être en mesure d’orienter ses choix en tenant compte des spécificités des solveurs employés.

Programme détaillé

Plan du cours :

  • Cours 1 / TD 1 (2h) : COP (formalisme et résolution)
  • Cours 2 / TD 2  (3h) : WCSP (formalisme et résolution)
  • Cours 3 / TD 3 (5h) : Max-SAT (formalisme et résolution)

Équipe enseignante

Djamal Habet

Cyril Terrioux (responsable)

Méthodologie (M2)

Objectifs de l’UE

Ce cours porte sur la méthodologie, les pratiques, les conventions et les pièges à éviter en science des données et machine learning (ML). Le parti pris est de s’appuyer sur des exemples concrets, pour ensuite aborder des notions plus abstraites de méthodologie scientifique, afin de (a) rendre agréable le thème de la méthodologie, souvent considéré comme mineur ou ennuyeux, (b) justifier l’importance des notions abstraites, et (c) s’entraîner sur des compétences pratiques utiles et essentielles (p.ex. lors du stage de fin de master).

Programme détaillé

  1. Conception d’une expérience : question scientifique, pertinence et justification, bibliographie, lecture critique d’articles
  2. Création de jeux de données : sélection de données, annotation de données, accord inter-annotateur/ice, biais dans les jeux de données
  3. Environnement expérimental (détails importants) : instabilité des modèles, reproductibilité vs. réplicabilité, hyper-paramétrage, RGPD, aspects éthiques
  4. Analyse de résultats d’un modèle : métriques d’évaluation, comparaison de systèmes, significativité statistique, test d’hypothèses paramétriques et non paramétriques, p-value

Équipe enseignante

Carlos Ramisch (responsable)

Apprentissage par renforcement

Objectifs de l’UE

L’objectif de cet UE est de fournir à l’étudiant les bases de l’apprentissage par renforcement. Les thématiques abordées seront : algorithmes de bandit, Monte Carlo Tree Search, TD-learning. Le TP et le TD seront consacrés à la réalisation d’un projet : programme de jeu de réflexion, pilotage de voiture, commande de robot.

Programme détaillé

Plan du cours

  • Multi-armed bandits — algorithme UCB
  • Multi-armed bandits — algorithme Thompson Sampling
  • Monte Carlo Tree search
  • Markov Decision process
  • TD Learning

Travail en binôme sur des projets.

Bibliographie (disponibles en ligne)

  • Reinforcement Learning: An Introduction, by Richard S. Sutton and Andrew G. Barto
  • Algorithms for Reinforcement learning, by Csaba Szepesvari

Équipe enseignante

Responsable de l’UE : Valentin Emiya

Signal, Apprentissage et Multimédia

Objectifs de l’UE

Cette UE fournit un bagage minimal de connaissances et compétences sur le traitement des données séquentielles telles que les signaux audio, les images, les vidéos. Elle s’adresse à un public d’informaticiens ayant vocation à traiter ces types de données et n’ayant pas suivi une formation de traitement des signaux, images et vidéo en mathématiques. Les objectifs sont:

  • d’acquérir des connaissances et compétences de base ainsi qu’une expérience dans le traitement des données multimédia (audio, image, vidéo) et les tâches d’apprentissage associées
  • de prendre du recul sur des problèmes et méthodes génériques aux différentes modalités, considérées comme des séquences, afin de pouvoir transférer ces approches d’un domaine à l’autre

Programme détaillé

Les notions seront introduites et illustrées de façon à favoriser d’une part une compréhension intuitive et d’autre part un formalisme approprié pour une utilisation pratique (programmation, expérimentation), en minimisant les pré-requis mathématiques nécessaires.

Plan :

  • Bases d’échantillonnage et de temps-fréquence (6h environ): définition, théorème d’échantillonnage de Shannon, notion de repliement spectral, exemples dans les images et les sons.
  • Notions de filtrage et de convolution (6h environ) : formulation, interprétation fréquentielle, exemples de filtres (lissage, dérivation, etc.) et d’application aux images et aux sons, lien avec les couches convolutives des réseaux de neurones
  • Segmentation des images et des signaux audio, extraction de caractéristiques (MFCC, etc.), notions de perception (6h environ)
  • Une application parmi plusieurs possibilités (9h environ):
    • Reconnaissance (ou synthèse) de la parole : élaboration d’un système de reconnaissance de phonème à partir de MFCC par réseaux de neurones
    • Voice activity detection, détection parole/musique/silence, classification de genres musicaux
    • Bandwidth extension en audio / Super-résolution dans les images
    • Cross-modalité: espace de représentation cross-modaux ou traduction d’une modalité en une autre.

Équipe enseignante

Responsables de l’UE : Valentin Emiya et Benoit Favre 

Prédictions structurées pour le traitement automatique du langage

Objectifs de l’UE

Ce cours introduit des modèles, algorithmes, ressources et outils pour la résolution de problèmes structurés en traitement automatique des langues (TAL), en particulier à l’aide de méthodes d’apprentissage profond (deep learning).

Programme détaillé

  1. Introduction aux tâches et à la modélisation des problèmes structurés en TAL, notamment pour l’étiquetage de séquences
  2. Programmation pytorch avancée pour des tâches complexes (modules, batches, …)
  3. Modèles de markov cachés et algorithme de Viterbi, avec application à l’étiquetage et à la segmentation de textes
  4. Modélisation du vocabulaire via des informations sous-lexicales, p.ex. à l’aide de modèles RNN ou convolution 1D sur les caractères
  5. Usage de modèles de langage pré-entraînésà base de transformeurs (p.ex. BERT) pour la prédiction structurée, embeddings contextuels, fine-tuning
  6. Analyse syntaxique probabiliste avec/sans grammaire (p.ex. PCFG, transitions, graphes)

Équipe enseignante

Carlos Ramisch (responsable)

Ce cours a été adapté à partir du cours PSTALN par Benoit Favre :
https://pageperso.lis-lab.fr/benoit.favre/pstaln/

Théorie de l’apprentissage et statistique non paramétrique

Objectifs de l’UE

Ce cours présente les concepts fondamentaux de l’apprentissage automatique, y compris la description et l’analyse de plusieurs algorithmes modernes, leur base théorique et l’illustration de leurs applications. Le cours abordera les notions suivantes : capacité de généralisation, complexité de Rademacher, stabilité algorithmique, SVM, méthodes à noyau, parcimonie, online-learning.

Programme détaillé

Plan (Cours au Tableau et TD sur machine) :

Cours 1 : Introduction générale – Concepts et algorithmes (2h)

Cours 2 : Complexité de Rademacher et VC-dimension (2h)

Cours 3 : SVM et méthodes à noyau (2h)

Cours 4 : Stabilité (2h)

Cours 5 : Parcimonie (2h)

Cours 6: Apprentissage en ligne (2h)

TD 1 : Classification binaire (3h)

TD 2 : Classification multi-class (3h)

TD 3 : Régression et parcimonie (2h)

TD 4 : Apprentissage en ligne (2h)

TD 5 : TD noté et présentation d’articles

Référence :

Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2012.

Équipe enseignante

Equipe enseignante : Hachem Kadri (responsable de l’UE) et François-Xavier Dupé

Introduction aux Sciences Cognitives (ouverture incertaine)

Objectifs de l’UE

L’objectif principal de l’UE est de fournir aux étudiants une connaissance approfondie de l’histoire de cette discipline scientifique récente dénommé “Sciences cognitives”, de son objet d’étude (la cognition humaine), de l’évolution des hypothèses sur la nature/ architecture cognitive sous-tendant l’esprit humain (cybernétique, cognitiviste-symbolique, connexionniste-sub-symbolique, incarnée, ancrée) ainsi que des grandes questions débattues au cours de cette évolution (par exemple, l’esprit humain utilise-t-il des symboles ? des représentations ?). Pour faciliter la compréhension de questions scientifiques quelquefois ardues, des exemples concrets issus d’études sur le langage seront étudiés, un des domaines phares dans l’évolution du cadre théorique des sciences cognitives.

Programme détaillé

Plan du cours

  • Qu’est-ce que les Sciences Cognitives ?
  • Les conceptions de l’architecture de l’esprit humain
  • L’exemple de l’étude du langage

Bibliographie

  • Andler, D. (éd 2004). Introduction aux sciences cognitives. Gallimard.
  • Fodor, J. (1986). La modularité de l’esprit. Les éditions de Minuit.  

Équipe enseignante

Pascale Colé (Psychologie Cognitive (CNU 16))