
Le 21 février 2012, je partageais sur Shy Robotics un cours de Sebastian Thrun, le professeur de Stanford dont le robot Stanley avait traversé le désert du Nevada, avant qu’il ne lance la voiture autonome de Google. Au programme : filtres particulaires, filtres de Kalman, algorithme A*, régulateur PID. Le manuel d’une époque, celle où construire une machine intelligente voulait dire écrire soi-même, équation après équation, chaque règle qu’elle suivrait.
Ce manuel, je le pratiquais. Deux ans plus tôt, en 2010, je pilotais Aquatis, un robot sous-marin autonome que notre équipe engageait au concours européen SAUC-E, sur une base de l’OTAN. Kalman, PID, cartographie, vision par ordinateur : nous vivions exactement ce que Thrun enseignait. Les réseaux de neurones (neural networks), des programmes qui apprennent à partir d’exemples, nous les connaissions et nous nous en amusions : j’entraînais par exemple une petite bibliothèque en C appelée FANN à reconnaître des chiffres manuscrits. Mais ils restaient cantonnés à quelques usages très particuliers, lents et gourmands. Les embarquer dans un robot soumis à la tyrannie du temps réel semblait déraisonnable : il fallait déjà répartir le moindre calcul entre un ordinateur lent, pour la réflexion, et des microcontrôleurs rapides, pour les réflexes, faute de quoi l’engin décidait trop tard. L’idée qu’une seule grosse boîte de neurones puisse un jour tout faire, et mieux, n’effleurait personne autour de moi.
C’était l’état de l’art, et il était brillant. Toute l’ingéniosité de la profession se concentrait à polir ces méthodes écrites à la main, à grappiller quelques points de précision d’une année sur l’autre. Et pendant que nous perfectionnions nos filtres, une bascule se préparait, que presque personne ne vit venir.
Elle eut lieu à l’automne 2012, au concours de reconnaissance d’images ImageNet, où les meilleures équipes mondiales bataillaient depuis des années pour gagner un demi-point.
Le concours de 2012 comptait trois épreuves. La principale, la classification, portait sur mille catégories d’objets : environ 1,2 million d’images dont la catégorie était donnée, pour apprendre, 50 000 pour se régler, et 100 000 images d’examen dont les réponses restaient secrètes. Pour chaque image d’examen, le programme rendait au plus cinq propositions, de la plus probable à la moins probable, et l’image comptait comme réussie si la bonne catégorie figurait parmi elles. Le taux d’erreur est la part des images manquées.
La deuxième épreuve, la localisation, demandait en plus d’encadrer l’objet sur l’image : le cadre proposé devait recouvrir à plus de moitié celui tracé par les annotateurs. La troisième, plus fine, portait sur une centaine de races de chiens. Les équipes avaient jusqu’au 30 septembre pour rendre leurs réponses ; les résultats furent dévoilés le 12 octobre, à Florence.
Cette année-là, un programme venu de Toronto, baptisé AlexNet, pulvérisa le classement de la première épreuve. Là où le deuxième plafonnait à 26,2 % d’erreur, lui tombait à 15,3 %. Près de onze points d’écart, du jamais-vu dans l’histoire du concours. Et AlexNet n’était pas une méthode de plus réglée à la main : c’était un réseau de neurones, cette vieille idée que le milieu regardait à peine. En moins de deux ans, Google, Facebook, Microsoft et Baidu se ruèrent tous sur l’apprentissage profond (deep learning), le nom donné aux grands réseaux de neurones. Le manuel que je venais de partager n’était pas faux ; il venait, en une soirée, de devenir un document d’histoire.
La même année, Geoffrey Hinton fondait avec deux de ses étudiants, Alex Krizhevsky et Ilya Sutskever, une société de réseaux de neurones, DNNresearch ; Google la rachetait en mars 2013. À la fin de cette même année 2013, Google annonçait le rachat de huit entreprises de robotique, dont Boston Dynamics et ses quadrupèdes, Schaft et son humanoïde, Industrial Perception et sa vision pour bras de manutention, et confiait l’ensemble à Andy Rubin, le père d’Android. Ces machines-là marchaient, sautaient, saisissaient ; leur adresse était programmée, pas apprise, exactement comme celle de la voiture de février 2012. La même entreprise achetait donc, à neuf mois d’intervalle, un logiciel qui apprenait à reconnaître ce qu’il voyait et des robots qui savaient se mouvoir. Les deux achats se complétaient exactement : il manquait un corps au logiciel, et il manquait aux robots la capacité d’apprendre. Il n’était plus déraisonnable d’imaginer la suite, un robot à forme humaine qui apprendrait par l’exemple au lieu d’être programmé geste par geste.
Le plus vertigineux n’est pas là. L’idée qui venait de tout emporter n’était pas neuve : elle dormait depuis plus d’un demi-siècle, inventée puis enterrée deux fois par la communauté scientifique elle-même. Voici comment elle est revenue d’entre les morts, ce qu’elle a balayé sur son passage, ce qui lui résiste encore, et ce qu’il faut en comprendre pour s’en servir.
Quatre méthodes brillantes, et pas une qui apprenne
Reprenons ce cours de Sebastian Thrun, car il dit tout de l’esprit de l’époque. Chacune de ses briques était une petite merveille d’ingéniosité humaine, et aucune n’apprenait quoi que ce soit. Le filtre particulaire localisait la voiture en semant sur la carte des milliers d’hypothèses de position, comme une poignée de grains de riz jetés au hasard, puis en éliminant une à une celles que les capteurs contredisaient, jusqu’à ce que le nuage se resserre autour du seul point plausible. Le filtre de Kalman suivait les autres véhicules en tranchant, à chaque instant, entre ce que rapportait le capteur et ce que prédisait la physique du mouvement. L’algorithme A* déroulait le meilleur chemin, le régulateur PID tenait le volant en corrigeant sans cesse l’écart à la trajectoire.
Dans chacune de ces méthodes, un ingénieur avait, en amont, écrit la règle. Comment pondérer un capteur, comment estimer une trajectoire, comment corriger une erreur, tout était pensé, formulé, codé par un humain. La machine ne faisait qu’exécuter, admirablement, un raisonnement qui n’était pas le sien. Sur les sept semaines du programme, une seule séance effleurait l’apprentissage automatique (machine learning), et encore, pour trier des points de capteur. C’est dire à quel point l’idée qu’une machine puisse forger ses propres règles restait, pour nous, une curiosité de laboratoire plutôt qu’un outil de terrain.
Cette curiosité de laboratoire, pourtant, s’apprêtait à tout balayer. Il existait une autre voie, à l’exact opposé de cette voiture : une machine qui n’attendait pas qu’un ingénieur lui dicte ses règles, mais les apprenait toute seule, à partir d’exemples. AlexNet était un réseau de neurones, et sa victoire de l’automne 2012 a fait basculer tout un pan de la recherche vers cette approche que la voiture de Thrun ignorait encore.
Mais cette idée n’était pas neuve. Elle avait déjà été inventée, enterrée, ressuscitée, puis enterrée une seconde fois, sur près de soixante-dix ans. Avant de raconter cette histoire mouvementée, il faut comprendre ce qu’est, au juste, un réseau de neurones, et pourquoi ce nom prête à confusion.
Pourquoi ces réseaux de neurones n’ont rien de biologique
Avant d’aller plus loin, il faut dissiper le malentendu le plus tenace du domaine. Le neurone artificiel ne ressemble à un neurone humain que par le nom, hérité d’une métaphore de 1943 : cette année-là, le neurophysiologiste Warren McCulloch et le logicien Walter Pitts publient un modèle mathématique volontairement caricatural de la cellule nerveuse. Il tient en trois opérations, et ce sont encore celles des modèles d’aujourd’hui : recevoir plusieurs nombres, les multiplier chacun par un coefficient (fixé à l’identique pour toutes les entrées excitatrices), additionner le tout, appliquer une fonction qui décide de la sortie.
La rencontre des deux hommes qui ont posé cette première pierre est digne d’un roman. McCulloch a quarante-deux ans, il a étudié la logique, et il cherche depuis des années à décrire la pensée comme un calcul sans savoir en tenir les mathématiques. Walter Pitts n’a aucun diplôme et pas de toit. Un étudiant en médecine, Jerome Lettvin, les présente ; McCulloch et son épouse installent le jeune homme chez eux. La relation fonctionne si bien qu’ils publient en 1943 « Un calcul logique des idées immanentes dans l’activité nerveuse ». Leur but n’était pas de construire une machine à apprendre. Ils voulaient montrer que le raisonnement lui-même pouvait s’écrire en logique, et le neurone n’était que le support de cette démonstration.
Cela se voit dans le modèle, à un détail près qui est tout le sujet de ce dossier : chez McCulloch et Pitts, les coefficients ne se règlent pas. Toutes les connexions qui excitent le neurone ont exactement la même force. Une seule connexion qui l’inhibe suffit à le bloquer, quoi que disent les autres. Le seuil à partir duquel il répond est fixé à la main par celui qui dessine le circuit. Et rien de tout cela ne bouge jamais. Le neurone de 1943 est une pièce de logique, un interrupteur savamment câblé qui calcule des « et », des « ou », des « non », et qui les calculera de la même façon jusqu’à la fin des temps. Il n’apprend rien.
Il manque donc une pièce, et c’est elle qui fera toute la suite de cette histoire : un nombre attaché à chaque entrée, que l’on puisse tourner comme un bouton. Ce nombre porte un nom, le poids (weight), et c’est lui qui sépare un circuit d’un apprenant. Dans un jury où chaque juré donne une note, le poids est le crédit accordé à chacun dans la moyenne : relever le crédit d’un juré change le verdict sans changer une seule note. La fonction d’activation (activation function) tient le rôle du seuil : en deçà rien ne passe, au-delà le signal continue. Un neurone artificiel, dans la forme qui servira jusqu’aux modèles d’aujourd’hui, c’est donc une multiplication, une addition et une comparaison. Aucune chimie, aucun potentiel d’action, aucun neurotransmetteur.
Reste alors la question qui commande tout le reste du dossier : qui tourne ces boutons ? En 1943, personne, sinon la main de l’ingénieur. Il faudra six ans pour qu’un psychologue ose l’hypothèse qu’ils pourraient se régler seuls, et quinze pour qu’une machine le fasse pour de bon. Regardons d’abord l’objet lui-même, une fois ses poids posés avec un exemple.
Reprenez les trois nombres du schéma. Multipliez chaque entrée par son poids : 0,9 × 2,1 donne 1,89 ; 0,1 × (moins 0,7) donne moins 0,07 ; 0,5 × 0,4 donne 0,20. Additionnez : 1,89 moins 0,07 plus 0,20 égale 2,02. Le seuil était fixé à 1. Comme 2,02 dépasse 1, le neurone dit oui. Vous venez de faire tourner, à la main, l’unité de base de toute l’intelligence artificielle moderne. Un modèle géant ne fait rien d’autre que cette opération, des milliers de milliards de fois par seconde. Pour mesurer l’écart : en 1969, la machine la plus rapide du monde, le CDC 7600, qui le resterait jusqu’en 1975, exécutait une dizaine de millions d’opérations par seconde.
Le calcul neuronal ne tient pas sur un processeur ordinaire
Ce que le neurone réclame d’une machine tient en trois gestes élémentaires, toujours les mêmes. Dans un réseau de neurones, les milliers de neurones répètent ce même petit calcul, chacun sur ses propres nombres, sans avoir besoin du résultat du voisin. Ces opérations sont indépendantes, donc elles peuvent toutes se faire en même temps.
Voilà qui disqualifie le processeur ordinaire, le CPU (central processing unit). Un CPU possède quelques cœurs, les unités qui exécutent les calculs, très rapides et très intelligents, conçus pour enchaîner des tâches variées l’une après l’autre : un excellent chef d’orchestre, mais qui joue les instruments un à un. Le calcul neuronal ne demande pas de l’intelligence séquentielle, il demande de faire des millions de fois la même opération triviale, ensemble. C’est exactement ce pour quoi la carte graphique et son processeur (graphics processing unit), le GPU, avaient été bâtis : afficher un jeu vidéo, c’est calculer la couleur de millions de pixels simultanément, le même geste répété partout. Un GPU troque donc les quelques cœurs surdoués du CPU contre des milliers de cœurs modestes qui travaillent tous de front. La coïncidence est presque comique : l’outil rêvé de l’intelligence artificielle avait été perfectionné, des années durant, pour faire tourner des jeux de tir.
Mesurons le renversement, car c’est l’une des révolutions les plus discrètes de l’histoire récente de l’informatique. Les algorithmes de la voiture de 2012, Kalman, A*, PID, étaient parfaitement à l’aise sur un processeur ordinaire : une suite d’étapes logiques, chacune s’appuyant sur la précédente, exactement le régime séquentiel pour lequel le CPU avait été conçu depuis les années 1970. Pendant un demi-siècle, toute l’industrie du logiciel a été bâtie sur cette hypothèse : programmer, c’est écrire une recette que la machine déroule pas à pas. Le réseau de neurones brise cette hypothèse. Il ne déroule pas une recette, il écrase des montagnes de multiplications en parallèle, et il réclame donc un matériel d’une tout autre nature.
Le mécanisme se voit mieux à l’envers, sur un calcul qui ne s’y prête pas. Donnez mille cœurs à un filtre de Kalman : il n’ira pas plus vite. Il ne peut estimer la position du véhicule à un instant donné qu’après avoir arrêté celle de l’instant d’avant, si bien que les pas font la queue les uns derrière les autres. Le calcul d’un seul pas, lui, tient dans des tableaux de quelques nombres : de quoi occuper un cœur, pas mille. Cet échec enseigne la règle mieux que la réussite ne le ferait : ce qui décide n’est pas la quantité de travail, mais sa forme. Des tâches qui s’ignorent se répartissent ; une tâche faite d’étapes qui se tiennent par la main ne se répartit pas, quelle que soit la machine.
Une précaution : dans la suite de cette série, nous aborderons les couches d’un réseau de neurones. L’indépendance vaut à l’intérieur d’une de ces couches, pas d’une couche à l’autre, puisque chacune attend le résultat de la précédente. Une seule couche donne déjà de quoi occuper des milliers de cœurs.
Du jour au lendemain, ou presque, le composant qui comptait n’était plus le processeur mais la carte graphique. Une pièce que l’on associait aux adolescents et aux jeux de tir allait devenir la ressource stratégique la plus disputée de la planète. Changer d’algorithme n’a pas seulement changé la façon d’écrire des programmes ; cela a redistribué la valeur dans toute la filière informatique, du logiciel vers le matériel.
Depuis, la course au silicium ne s’est plus arrêtée. On sait aujourd’hui graver des puces encore plus spécialisées que le GPU, taillées pour ces seuls calculs : les TPU (tensor processing unit) de Google, les NPU (neural processing unit) de nos téléphones. Mais le GPU garde une longueur d’avance qui n’a rien à voir avec la performance pure : il était déjà là, produit en masse et facile à programmer, quand les autres devaient encore être inventés. Toute cette débauche d’ingénierie pour une raison qui reste, au fond, désarmante de simplicité : multiplier des nombres, les additionner, recommencer des milliards de fois. Du silicium, de l’électricité, de l’algèbre linéaire.
Sources
Février 2012 : une voiture qui n’apprenait rien
- Cours 1 de réalisation d’une voiture autonome · Shy Robotics, février 2012
- Self-supervised Monocular Road Detection in Desert Terrain · Hendrik Dahlkamp, Adrian Kaehler, David Stavens, Sebastian Thrun et Gary Bradski, Robotics: Science and Systems II, août 2006 : l’équipe de Stanley décrit elle-même sa course, cent trente-deux miles en sept heures, et c’est elle qui nomme le désert du Nevada ; relu par les pairs
- Novel approach to nonlinear/non-Gaussian Bayesian state estimation · N. J. Gordon, D. J. Salmond et A. F. M. Smith, IEE Proceedings F, Radar and Signal Processing, volume 140, n° 2, 1993, page 107 : l’article qui fonde le filtre particulaire décrit plus haut, le premier des quatre outils au programme du cours de février 2012 ; relu par les pairs, doi 10.1049/ip-f-2.1993.0015
- What we’re driving at · blog officiel de Google, 9 octobre 2010, signé Sebastian Thrun, Distinguished Software Engineer : l’annonce du projet de voiture autonome de Google par celui-là même qui donnait le cours de février 2012
- ImageNet Large Scale Visual Recognition Challenge 2012 (ILSVRC2012) · Stanford Vision Lab : les trois épreuves, mille catégories, 1,2 million d’images d’apprentissage, 50 000 de validation et 100 000 d’examen, cinq propositions au plus par image, le recouvrement de plus de 50 % exigé pour la localisation, la clôture le 30 septembre 2012 et l’atelier du 12 octobre à Florence
- Résultats officiels du concours ImageNet 2012 (ILSVRC2012) · Stanford Vision Lab : l’équipe SuperVision (Krizhevsky, Sutskever, Hinton, université de Toronto) à 0,15315 d’erreur, la deuxième à 0,26172
- Google acquires U of T neural networks company · Sara Franca, communiqué de l’université de Toronto, 12 mars 2013 : le rachat par Google de la société de Geoffrey Hinton, Alex Krizhevsky et Ilya Sutskever
- Google buys University of Toronto startup · CBC, 13 mars 2013 : c’est cette pièce-ci qui donne le nom de la société, DNNresearch Inc., incorporée en 2012 par les trois mêmes
- Baidu Opens Silicon Valley Lab, Appoints Andrew Ng as Head of Baidu Research · communiqué Baidu, 16 mai 2014 : quatorze mois plus tard, l’autre terme du délai ; le même communiqué date de 2013 l’Institute of Deep Learning
- Yann LeCun, Chief AI Scientist, Facebook AI Research · fiche de Meta, non datée : elle établit l’arrivée de LeCun chez Facebook en décembre 2013
- On Welsh Corgis, Computer Vision, and the Power of Deep Learning · blog de Microsoft Research, 14 juillet 2014 : le projet Adam, commencé dix-huit mois plus tôt, soit début 2013
- Boston Dynamics Now Belongs to Google · Evan Ackerman et Erico Guizzo, IEEE Spectrum, 14 décembre 2013, presse spécialisée : les sept jeunes pousses de robotique rachetées début décembre, puis Boston Dynamics, le tout confié à Andy Rubin
- Google Acquires Seven Robot Companies, Wants Big Role in Robotics · IEEE Spectrum, 4 décembre 2013 ; c’est cette pièce-ci, et non la précédente, qui nomme les sept : Schaft, « une petite équipe de roboticiens japonais récemment sortis de l’université de Tokyo », Industrial Perception et ses bras à vision, Meka et Redwood Robotics à San Francisco, Bot & Dolly, Autofuss et Holomni
Pourquoi ces réseaux de neurones n’ont rien de biologique
- A Logical Calculus of the Ideas Immanent in Nervous Activity · McCulloch et Pitts, Bulletin of Mathematical Biophysics, 1943
- Les hypothèses du modèle de 1943 · notice de l’université du Texas à San Antonio, sur l’inhibition à droit de veto
- The Man Who Tried to Redeem the World with Logic · Amanda Gefter, Nautilus n° 21, 29 janvier 2015 : presse magazine adossée aux McCulloch Papers et à Talking Nets ; l’âge de McCulloch à leur rencontre, la présentation par Jerome Lettvin et l’accueil de Pitts sous son toit
Le calcul neuronal ne tient pas sur un processeur ordinaire
- CDC 6600’s Five Year Reign · Computer History Museum : la domination de Control Data et le passage de relais au CDC 7600 en 1969 ; notice de musée