CHAPITRE 3 Bases de Machine Learning 3 1 R seaux de neurones Ce chapitre aborde les r seaux de neurones au travers de deux utilisations courantes la r gression page 28 et la clas si cation page 32 et une qui l est moins l analyse en composantes principales 16 ou ACP page 63 sans oublier les m thodes d estimation des param tres qui les composent savoir optimisations du premier et second ordre M thodes du premier ordre page 46 et M thodes du second ordre page 46 ainsi qu une m thode permettant de supprimer des coef cients inutiles S lection de connexions page 59 3 1 1 D nition des r seaux de neurones multi couches Les r seaux de neurones multi couches ou perceptrons d nissent une classe de fonctions dont l int r t est de pouvoir approcher n importe quelle fonction continue support compact voir th or me sur la densit page 35 Aucun autre type de r seau de neurones ne sera tudi et par la suite tout r seau de neurones sera consid r comme multi couches donc pas les r seau de Kohonen 17 Un neurone D nition D1 neurone Un neurone p entr es est une fonction f Rp 1 Rp R d nie par g R R W Rp 1 W w1 wp 1 x Rp f W x g cid 26 p i 1 wixi wp 1 avec x x1 xp Cette d nition est inspir e du neurone biologique les poids jouant le r le de synapses le vecteur x celui des entr es et W celui des coef cients ou poids Le coef cient wp 1 est appel le biais et souvent not b La fonction g est appel e fonction de transfert ou fonction de seuil 16 https fr wikipedia org wiki Analyse en composantes principales 17 https fr wikipedia org wiki Carte auto adaptative 25 Machine Learning Statistiques et Programmation Version 0 1 407 xp wp xi wi w1 cid 26 b y f z Figure F1 neurone graphique x1 appel parfois le potentiel y cid 26 p ou de seuil z f y f cid 26 p 1 i 1 wixi b Le vecteur x1 xp Rp joue le r le des entr es y est i 1 wixi b z est appel e la sortie du neurone f est appel e la fonction de transfert La r pr sentation graphique page 26 est plus souvent celle qu on retient Ce sch ma est galement plus proche de sa d nition biologique et dissocie mieux les r les non sym triques des entr es et des poids Des exemples de fonctions de transfert sont donn s par la table qui suit Les plus couramment utilis es sont les fonctions lin aire et sigmo de exemples de fonction de transfert ou de seuil escalier lin aire sigmo de entre 0 1 sigmo de entre 1 1 normale exponentielle expression 1 0 x 1 1 e x 2 1 e x2 ex 2 1 ex La plupart des fonctions utilis es sont d rivables et cette propri t s tend tout assemblage de neurones ce qui permet d utiliser l algorithme de r tropropagation d couvert par Rumelhart1986 page Ce dernier permet le calcul de la d riv e ouvre ainsi les portes des m thodes d optimisation bas es sur cette propri t Une couche de neurones D nition D2 couche de neurones Soit p et n deux entiers naturels on note W Rn p 1 W1 Wn avec i 1 n Wi Rp 1 Une couche de n neurones et p entr es est une fonction F Rn p 1 Rp Rn v r ant i 1 n fi est un neurone W Rn p 1 Rp F W x f1 W1 x fn Wn x Une couche de neurones repr sente la juxtaposition de plusieurs neurones partageant les m mes entr es mais ayant chacun leur propre vecteur de coef cients et leur propre sortie Un r seau de neurones le perceptron D nition D3 r seau de neurones multi couches ou perceptron Un r seau de neurones multi couches n sorties p entr es et C couches est une liste de couches C1 CC connect es les unes aux autres de telle sorte que i 1 C chaque couche Ci poss de ni neurones et pi entr es 26 Chapitre 3 Bases de Machine Learning Machine Learning Statistiques et Programmation Version 0 1 407 i 1 C 1 ni pi 1 de plus p1 p et nC n Les coef cients de la couche Ci sont not s cid 31 W i Zi 0 i C d nie par ni cid 35 cette couche d nit une fonction Fi Soit la suite 1 W i Z0 Rp i 1 C Zi Fi cid 31 W i 1 W i ni Zi 1 cid 35 i 1 ni pi 1 le r seau de neurones ainsi d ni est une fonction F telle que On pose M M cid 26 C F RM Rp Rn W Z0 ZC Figure F2 Mod le du perceptron multi couche multi layer perceptron MLP x1 xp entr es Ci nombre de neurones sur la couche i C0 p zc i sortie du neurone i de la couche c par extension z0 i xi yc i potentiel du neurone i de la couche c wc i j coef cient associ l entr e j du neurone i de la couche c bc i biais du neurone i de la couche c fc i fonction de seuil du neurone i de la couche c On note Wc la matrice des poids associ e la couche c De la m me mani re Bc est le vecteur des biais associ e la couche c Zc Yc sont les objets vectoriels correspondant On consid re que les entr es forment la couche C0 de mani re simpli er les critures Ainsi chaque couche Ci du perceptron a pour entr es les sorties de la couche Ci 1 Cette d nition est plus facile illustrer qu noncer voir Mod le du perceptron page 27 et rappelle le r le non sym trique des entr es et des poids Le m canisme qui permet de calculer les sorties d un r seau de neurones sachant ses poids est appel propagation Algorithme A1 Propagation Cet algorithme s applique un r seau de neurones v ri ant la d nition du perceptron page 26 Il s agit de calculer les sorties de ce r seau connaissant ses poids wc i j et ses entr es xj Zc X for c in 1 C Vient ensuite le calcul it ratif de la suite Zc 1 c C 3 1 R seaux de neurones 27 Machine Learning Statistiques et Programmation Version 0 1 407 Yc WcZc 1 Bc Zc F Yc Le nombre de couches d un r seau de neurones n est pas limit Les r seaux de deux couches une couche pour les entr es une couche de sortie sont rarement utilis s Trois couches sont n cessaires une couche pour les entr es …