Introduction à l’intelligence artificielle
Une brève excursion dans le monde du machine learning
December 1, 2024
Panorama de l’intelligence artificielle
Le machine learning est une branche de l’IA
La carte du Machine Learning
La régression linéaire
Prédiction du prix d’une maison en fonction de sa superficie
Des données d’entrainement \(\color{red} (x_1,y_1),\dotsc,(x_n,y_n)\)
- \(x_i\) : superficie de la maison
- \(y_i\) : prix de la maison
- \(n\) : nombre de données
La régression linéaire
- Un modèle de prédiction linéaire \(\color{blue} f_{w,b}\)
- Une fonction de coût mesurant l’erreur (quadratique moyenne) : \[ {\color{red}J({\color{blue}w},{\color{blue}b})} = \frac{1}{n} \sum_{i=1}^n {\color{red}\ell({\color{orange}y_i}, {\color{blue}f_{w,b} ({\color{orange}x_i})})}, \quad {\color{red}\ell(y,\hat y)=(y-\hat y)^2} \]
La régression linéaire
Une simple couche de neurone
La régression polynomiale
Un autre modèle linéaire plus complexe
Fitting des données bruitées \({\color{blue}y_i}={\color{green}\sin(2\pi x_i)}+\epsilon_i\) avec un polynôme de degré \(M\) : \[ \color{red} f_{\boldsymbol{w}}(x) = w_0 + w_1 x + w_2 x^2 + \dotsc + w_M x^M = \boldsymbol{\psi}(x)^{\intercal} \boldsymbol{w}\]
\(\boldsymbol{\psi}(x)=[1,x,x^2,\dotsc,x^M]^{\intercal}\) est un feature mapping. On peut utiliser les moindres carrés puisque \(f_{\boldsymbol{w}}(x)=\boldsymbol{\psi}(x)^{\intercal} \boldsymbol{w}\) est linéaire en \(\boldsymbol{w}\).
La régression polynomiale
Underfitting (M=0,1) vs. bon modèle (M=3) vs. overfitting (M=9)
La régression polynomiale
- Plus \(M\) augmente, plus les coefficients \(w_i^{\star}\) explosent.
- Le polynôme \(\color{red} f_{\boldsymbol{w}}(x)\) finit par interpoler les données \(\color{blue} (x_i,y_i)\) (erreur de training nulle pour \(M=9\)), avec de fortes oscillations entre ces points.
- Le modèle peine alors à généraliser sur les données de test (l’erreur grimpe pour \(M=9\)). Il faut ajuster l’hyperparamètre \(M\) sur données de validation (étape de sélection de modèle).
Partitionnement du dataset
Training vs. validation vs. testing
Types d’apprentissages
Supervisés, non-supervisés et par ré-enforcement
L’efficacité du Perceptron Multicouche
3 perceptrons pour créer une forme triangulaire
L’efficacité du Perceptron Multicouche
Linéariser les frontières de décision complexes
Représentation d’un Perceptron Multicouche
Un simple réseau de neurones à 3 couches
Formalisation d’un Perceptron Multicouche
Cascades de multiplication matricielles et d’activation
L’efficacité du Perceptron Multicouche
Apprendre des frontières de décision complexes
Classification d’images
Reconnaissance de chiffres (MNIST)
Image en couleurs
3 canaux RGB
Classification d’images
Extraction de caractéristiques
Classification d’images
Méthode traditionnelle (handcrafted features) vs moderne (deep learning)
Classification d’images
Discriminer deux chiffres
Briques de base d’un CNN
Les filtres de convolution
Briques de base d’un CNN
Les filtres de convolution
Briques de base d’un CNN
Les filtres de convolution
Briques de base d’un CNN
Les filtres de convolution
Briques de base d’un CNN
Les filtres de convolution
Briques de base d’un CNN
Le max pooling
Briques de base d’un CNN
Le max pooling
Classification d’images
Discriminer les chiffres MNIST (LeCun et al. 1989b, 1989a, 1998)
Deep learning
AlexNet (Krizhevsky, Sutskever, and Hinton 2012)
Deep learning
La première couche du réseau
Deep learning
Les couches du réseau extraient des features à différentes échelles
Deep learning
Les couches du réseau extraient des features à différentes échelles
Deep learning
Les CNN en résumé
Deep learning
Un déluge de données
- 1,2 millions d’images d’entrainement
- 100 000 images de test
Deep learning
1000 classes d’objets dans ImageNet
Deep learning
Le succès des CNN en classification d’images
Deep learning
L’une des raisons de ce succès : les ressouces computationnelles
Ada Lovelace
L’enchanteresse des nombres
- 1815 - Naissance d’Ada Lovelace à Londres, fille du poète Lord Byron et d’Anne Isabella Milbanke.
- 1833 - Rencontre avec Charles Babbage, mathématicien et inventeur de la machine analytique.
- 1842-1843 - Publication des Notes, ajoutées à la traduction d’un article du mathématicien italien Luigi Menabrea.
- 1852 - Décès à l’âge de 36 ans, des suites d’un cancer.
Modélisation des neurones
Neurones biologiques vs neurones artificiels
Modélisation des réseaux de neurones
Les CNN inspirés du fonctionnement du cortex visuel (Hubel and Wiesel 1962)
