Affiche du chapitre : à gauche, une route du Nevada au couchant ; à droite, une voiture autonome de Google sur une rue ; en bas à gauche, le titre du chapitre et une phrase du texte.
À gauche, une route du Nevada au couchant : la route 50, photographiée en 2020. À droite, une voiture autonome de Google, une Lexus équipée de ses capteurs : photographiée en 2014, deux ans après le cours de février 2012 dont part le texte. Amine Abassir, Nevada Highway 50 Sunset, 15 mai 2020. CC BY-SA 4.0. Source : Wikimedia Commons. Anthony Quintano, Google Self Driving Car (52639793867), 2 avril 2014. CC BY 2.0. Source : Wikimedia Commons. Composition, coupe et étalonnage Shy Robotics ; l’ensemble est placé sous la même licence, CC BY-SA 4.0.

Le 21 février 2012, je partageais sur Shy Robotics un cours de Sebastian Thrun, le professeur de Stanford dont le robot Stanley avait traversé le désert du Nevada, avant qu’il ne lance la voiture autonome de Google. Au programme : filtres particulaires, filtres de Kalman, algorithme A*, régulateur PID. Le manuel d’une époque, celle où construire une machine intelligente voulait dire écrire soi-même, équation après équation, chaque règle qu’elle suivrait.

Ce manuel, je le pratiquais. Deux ans plus tôt, en 2010, je pilotais Aquatis, un robot sous-marin autonome que notre équipe engageait au concours européen SAUC-E, sur une base de l’OTAN. Kalman, PID, cartographie, vision par ordinateur : nous vivions exactement ce que Thrun enseignait. Les réseaux de neurones (neural networks), des programmes qui apprennent à partir d’exemples, nous les connaissions et nous nous en amusions : j’entraînais par exemple une petite bibliothèque en C appelée FANN à reconnaître des chiffres manuscrits. Mais ils restaient cantonnés à quelques usages très particuliers, lents et gourmands. Les embarquer dans un robot soumis à la tyrannie du temps réel semblait déraisonnable : il fallait déjà répartir le moindre calcul entre un ordinateur lent, pour la réflexion, et des microcontrôleurs rapides, pour les réflexes, faute de quoi l’engin décidait trop tard. L’idée qu’une seule grosse boîte de neurones puisse un jour tout faire, et mieux, n’effleurait personne autour de moi.

C’était l’état de l’art, et il était brillant. Toute l’ingéniosité de la profession se concentrait à polir ces méthodes écrites à la main, à grappiller quelques points de précision d’une année sur l’autre. Et pendant que nous perfectionnions nos filtres, une bascule se préparait, que presque personne ne vit venir.

Elle eut lieu à l’automne 2012, au concours de reconnaissance d’images ImageNet, où les meilleures équipes mondiales bataillaient depuis des années pour gagner un demi-point.

Le concours de 2012 comptait trois épreuves. La principale, la classification, portait sur mille catégories d’objets : environ 1,2 million d’images dont la catégorie était donnée, pour apprendre, 50 000 pour se régler, et 100 000 images d’examen dont les réponses restaient secrètes. Pour chaque image d’examen, le programme rendait au plus cinq propositions, de la plus probable à la moins probable, et l’image comptait comme réussie si la bonne catégorie figurait parmi elles. Le taux d’erreur est la part des images manquées.

La deuxième épreuve, la localisation, demandait en plus d’encadrer l’objet sur l’image : le cadre proposé devait recouvrir à plus de moitié celui tracé par les annotateurs. La troisième, plus fine, portait sur une centaine de races de chiens. Les équipes avaient jusqu’au 30 septembre pour rendre leurs réponses ; les résultats furent dévoilés le 12 octobre, à Florence.

Trois panneaux dessinés au crayon. Premier panneau, un léopard : la photo donne cinq propositions, jaguar, guépard, léopard, lynx, chat sauvage, et léopard, surligné en vert, figure parmi elles : réussie. Deuxième panneau, une calandre : les cinq propositions, cabriolet, limousine, pare-chocs, taxi, jante, ne la contiennent pas : manquée. Troisième panneau, localiser : sur une photo, un cadre vert recouvre à plus de moitié un cadre de référence en pointillés bleus.
Les deux premières épreuves d’ImageNet 2012, sur des exemples illustratifs. Classer : cinq propositions par image, et l’image est réussie si la bonne réponse, surlignée en vert, figure parmi elles. Localiser : le cadre proposé, en trait plein, doit recouvrir à plus de moitié le cadre de référence, en pointillés.

Cette année-là, un programme venu de Toronto, baptisé AlexNet, pulvérisa le classement de la première épreuve. Là où le deuxième plafonnait à 26,2 % d’erreur, lui tombait à 15,3 %. Près de onze points d’écart, du jamais-vu dans l’histoire du concours. Et AlexNet n’était pas une méthode de plus réglée à la main : c’était un réseau de neurones, cette vieille idée que le milieu regardait à peine. En moins de deux ans, Google, Facebook, Microsoft et Baidu se ruèrent tous sur l’apprentissage profond (deep learning), le nom donné aux grands réseaux de neurones. Le manuel que je venais de partager n’était pas faux ; il venait, en une soirée, de devenir un document d’histoire.

La même année, Geoffrey Hinton fondait avec deux de ses étudiants, Alex Krizhevsky et Ilya Sutskever, une société de réseaux de neurones, DNNresearch ; Google la rachetait en mars 2013. À la fin de cette même année 2013, Google annonçait le rachat de huit entreprises de robotique, dont Boston Dynamics et ses quadrupèdes, Schaft et son humanoïde, Industrial Perception et sa vision pour bras de manutention, et confiait l’ensemble à Andy Rubin, le père d’Android. Ces machines-là marchaient, sautaient, saisissaient ; leur adresse était programmée, pas apprise, exactement comme celle de la voiture de février 2012. La même entreprise achetait donc, à neuf mois d’intervalle, un logiciel qui apprenait à reconnaître ce qu’il voyait et des robots qui savaient se mouvoir. Les deux achats se complétaient exactement : il manquait un corps au logiciel, et il manquait aux robots la capacité d’apprendre. Il n’était plus déraisonnable d’imaginer la suite, un robot à forme humaine qui apprendrait par l’exemple au lieu d’être programmé geste par geste.

Atlas, robot humanoïde de Boston Dynamics et de la DARPA, vu de face en 2013
Atlas, le robot humanoïde construit par Boston Dynamics avec la DARPA, photographié en 2013. L’année où Google rachète l’entreprise, ces machines marchent et saisissent déjà ; rien de ce qu’elles font n’a été appris. DARPA, Atlas, vue de face, 2013. Domaine public. Source : Wikimedia Commons

Le plus vertigineux n’est pas là. L’idée qui venait de tout emporter n’était pas neuve : elle dormait depuis plus d’un demi-siècle, inventée puis enterrée deux fois par la communauté scientifique elle-même. Voici comment elle est revenue d’entre les morts, ce qu’elle a balayé sur son passage, ce qui lui résiste encore, et ce qu’il faut en comprendre pour s’en servir.

Quatre méthodes brillantes, et pas une qui apprenne

Reprenons ce cours de Sebastian Thrun, car il dit tout de l’esprit de l’époque. Chacune de ses briques était une petite merveille d’ingéniosité humaine, et aucune n’apprenait quoi que ce soit. Le filtre particulaire localisait la voiture en semant sur la carte des milliers d’hypothèses de position, comme une poignée de grains de riz jetés au hasard, puis en éliminant une à une celles que les capteurs contredisaient, jusqu’à ce que le nuage se resserre autour du seul point plausible. Le filtre de Kalman suivait les autres véhicules en tranchant, à chaque instant, entre ce que rapportait le capteur et ce que prédisait la physique du mouvement. L’algorithme A* déroulait le meilleur chemin, le régulateur PID tenait le volant en corrigeant sans cesse l’écart à la trajectoire.

Dans chacune de ces méthodes, un ingénieur avait, en amont, écrit la règle. Comment pondérer un capteur, comment estimer une trajectoire, comment corriger une erreur, tout était pensé, formulé, codé par un humain. La machine ne faisait qu’exécuter, admirablement, un raisonnement qui n’était pas le sien. Sur les sept semaines du programme, une seule séance effleurait l’apprentissage automatique (machine learning), et encore, pour trier des points de capteur. C’est dire à quel point l’idée qu’une machine puisse forger ses propres règles restait, pour nous, une curiosité de laboratoire plutôt qu’un outil de terrain.

Cette curiosité de laboratoire, pourtant, s’apprêtait à tout balayer. Il existait une autre voie, à l’exact opposé de cette voiture : une machine qui n’attendait pas qu’un ingénieur lui dicte ses règles, mais les apprenait toute seule, à partir d’exemples. AlexNet était un réseau de neurones, et sa victoire de l’automne 2012 a fait basculer tout un pan de la recherche vers cette approche que la voiture de Thrun ignorait encore.

Mais cette idée n’était pas neuve. Elle avait déjà été inventée, enterrée, ressuscitée, puis enterrée une seconde fois, sur près de soixante-dix ans. Avant de raconter cette histoire mouvementée, il faut comprendre ce qu’est, au juste, un réseau de neurones, et pourquoi ce nom prête à confusion.

Deux frises chronologiques dessinées au crayon. En haut, de 1943 à 2012 : le modèle de neurone, le perceptron en 1958, le premier enterrement en 1969, la rétropropagation en 1986, la convolution en 1989 et AlexNet en 2012, avec deux bandes hachurées pour les hivers de 1969 à 1986 et de 1990 à 2012. En bas, de 2012 à 2026 : AlexNet, les plongements en 2013, le Transformer en 2017, GPT-3 en 2020, ChatGPT en 2022, les modèles qui raisonnent en 2024 et les modèles du monde en 2026.
Les deux registres n’ont pas la même échelle, et c’est délibéré : soixante-neuf ans occupent ici la même largeur que quatorze. Comparer des distances d’un registre à l’autre induirait en erreur ; comparer le nombre de jalons, non.

Pourquoi ces réseaux de neurones n’ont rien de biologique

Avant d’aller plus loin, il faut dissiper le malentendu le plus tenace du domaine. Le neurone artificiel ne ressemble à un neurone humain que par le nom, hérité d’une métaphore de 1943 : cette année-là, le neurophysiologiste Warren McCulloch et le logicien Walter Pitts publient un modèle mathématique volontairement caricatural de la cellule nerveuse. Il tient en trois opérations, et ce sont encore celles des modèles d’aujourd’hui : recevoir plusieurs nombres, les multiplier chacun par un coefficient (fixé à l’identique pour toutes les entrées excitatrices), additionner le tout, appliquer une fonction qui décide de la sortie.

La rencontre des deux hommes qui ont posé cette première pierre est digne d’un roman. McCulloch a quarante-deux ans, il a étudié la logique, et il cherche depuis des années à décrire la pensée comme un calcul sans savoir en tenir les mathématiques. Walter Pitts n’a aucun diplôme et pas de toit. Un étudiant en médecine, Jerome Lettvin, les présente ; McCulloch et son épouse installent le jeune homme chez eux. La relation fonctionne si bien qu’ils publient en 1943 « Un calcul logique des idées immanentes dans l’activité nerveuse ». Leur but n’était pas de construire une machine à apprendre. Ils voulaient montrer que le raisonnement lui-même pouvait s’écrire en logique, et le neurone n’était que le support de cette démonstration.

Cela se voit dans le modèle, à un détail près qui est tout le sujet de ce dossier : chez McCulloch et Pitts, les coefficients ne se règlent pas. Toutes les connexions qui excitent le neurone ont exactement la même force. Une seule connexion qui l’inhibe suffit à le bloquer, quoi que disent les autres. Le seuil à partir duquel il répond est fixé à la main par celui qui dessine le circuit. Et rien de tout cela ne bouge jamais. Le neurone de 1943 est une pièce de logique, un interrupteur savamment câblé qui calcule des « et », des « ou », des « non », et qui les calculera de la même façon jusqu’à la fin des temps. Il n’apprend rien.

Il manque donc une pièce, et c’est elle qui fera toute la suite de cette histoire : un nombre attaché à chaque entrée, que l’on puisse tourner comme un bouton. Ce nombre porte un nom, le poids (weight), et c’est lui qui sépare un circuit d’un apprenant. Dans un jury où chaque juré donne une note, le poids est le crédit accordé à chacun dans la moyenne : relever le crédit d’un juré change le verdict sans changer une seule note. La fonction d’activation (activation function) tient le rôle du seuil : en deçà rien ne passe, au-delà le signal continue. Un neurone artificiel, dans la forme qui servira jusqu’aux modèles d’aujourd’hui, c’est donc une multiplication, une addition et une comparaison. Aucune chimie, aucun potentiel d’action, aucun neurotransmetteur.

Deux panneaux jumeaux dessinés au crayon. À gauche, le neurone de McCulloch et Pitts en 1943 : trois entrées multipliées chacune par 1, et rien ne se règle. À droite, le même neurone avec un poids par entrée, 2,1, moins 0,7 et 0,4, encadrés en rouge. Le seuil est le même des deux côtés.
McCulloch et Pitts ne cherchaient pas à combler ce manque. Leur objet était une interrogation philosophique, non une machine à apprendre : ce qui fait défaut à gauche ne leur faisait pas défaut à eux.

Reste alors la question qui commande tout le reste du dossier : qui tourne ces boutons ? En 1943, personne, sinon la main de l’ingénieur. Il faudra six ans pour qu’un psychologue ose l’hypothèse qu’ils pourraient se régler seuls, et quinze pour qu’une machine le fasse pour de bon. Regardons d’abord l’objet lui-même, une fois ses poids posés avec un exemple.

Un neurone artificiel dessiné au crayon : trois pixels en entrée, 0,9 fois 2,1, 0,1 fois moins 0,7 et 0,5 fois 0,4 ; la somme vaut 2,02, elle dépasse le seuil de 1, et le neurone répond oui.
Le neurone artificiel dans la forme qui servira jusqu’aux modèles d’aujourd’hui : un poids par entrée, une addition, un seuil. Les valeurs chiffrées sont illustratives. Ce qui est exact : le modèle de McCulloch et Pitts de 1943 avait bien cette charpente, mais ses poids ne se réglaient pas.

Reprenez les trois nombres du schéma. Multipliez chaque entrée par son poids : 0,9 × 2,1 donne 1,89 ; 0,1 × (moins 0,7) donne moins 0,07 ; 0,5 × 0,4 donne 0,20. Additionnez : 1,89 moins 0,07 plus 0,20 égale 2,02. Le seuil était fixé à 1. Comme 2,02 dépasse 1, le neurone dit oui. Vous venez de faire tourner, à la main, l’unité de base de toute l’intelligence artificielle moderne. Un modèle géant ne fait rien d’autre que cette opération, des milliers de milliards de fois par seconde. Pour mesurer l’écart : en 1969, la machine la plus rapide du monde, le CDC 7600, qui le resterait jusqu’en 1975, exécutait une dizaine de millions d’opérations par seconde.

Le calcul neuronal ne tient pas sur un processeur ordinaire

Ce que le neurone réclame d’une machine tient en trois gestes élémentaires, toujours les mêmes. Dans un réseau de neurones, les milliers de neurones répètent ce même petit calcul, chacun sur ses propres nombres, sans avoir besoin du résultat du voisin. Ces opérations sont indépendantes, donc elles peuvent toutes se faire en même temps.

Voilà qui disqualifie le processeur ordinaire, le CPU (central processing unit). Un CPU possède quelques cœurs, les unités qui exécutent les calculs, très rapides et très intelligents, conçus pour enchaîner des tâches variées l’une après l’autre : un excellent chef d’orchestre, mais qui joue les instruments un à un. Le calcul neuronal ne demande pas de l’intelligence séquentielle, il demande de faire des millions de fois la même opération triviale, ensemble. C’est exactement ce pour quoi la carte graphique et son processeur (graphics processing unit), le GPU, avaient été bâtis : afficher un jeu vidéo, c’est calculer la couleur de millions de pixels simultanément, le même geste répété partout. Un GPU troque donc les quelques cœurs surdoués du CPU contre des milliers de cœurs modestes qui travaillent tous de front. La coïncidence est presque comique : l’outil rêvé de l’intelligence artificielle avait été perfectionné, des années durant, pour faire tourner des jeux de tir.

Deux composants vus de dessus, dessinés au crayon. À gauche, un processeur et ses quatre gros cœurs. À droite, une carte graphique et 128 petits cœurs. Une mention surlignée rappelle que, dans la réalité, quelques cœurs font face à des milliers.
Le dessin ne peut pas montrer ce qui compte le plus : un cœur de processeur est bien plus complexe qu’un cœur de carte graphique, et cela ne se voit pas à la taille d’une case. La carte ne l’emporte que sur les calculs qui n’ont pas besoin les uns des autres.

Mesurons le renversement, car c’est l’une des révolutions les plus discrètes de l’histoire récente de l’informatique. Les algorithmes de la voiture de 2012, Kalman, A*, PID, étaient parfaitement à l’aise sur un processeur ordinaire : une suite d’étapes logiques, chacune s’appuyant sur la précédente, exactement le régime séquentiel pour lequel le CPU avait été conçu depuis les années 1970. Pendant un demi-siècle, toute l’industrie du logiciel a été bâtie sur cette hypothèse : programmer, c’est écrire une recette que la machine déroule pas à pas. Le réseau de neurones brise cette hypothèse. Il ne déroule pas une recette, il écrase des montagnes de multiplications en parallèle, et il réclame donc un matériel d’une tout autre nature.

Le mécanisme se voit mieux à l’envers, sur un calcul qui ne s’y prête pas. Donnez mille cœurs à un filtre de Kalman : il n’ira pas plus vite. Il ne peut estimer la position du véhicule à un instant donné qu’après avoir arrêté celle de l’instant d’avant, si bien que les pas font la queue les uns derrière les autres. Le calcul d’un seul pas, lui, tient dans des tableaux de quelques nombres : de quoi occuper un cœur, pas mille. Cet échec enseigne la règle mieux que la réussite ne le ferait : ce qui décide n’est pas la quantité de travail, mais sa forme. Des tâches qui s’ignorent se répartissent ; une tâche faite d’étapes qui se tiennent par la main ne se répartit pas, quelle que soit la machine.

Une précaution : dans la suite de cette série, nous aborderons les couches d’un réseau de neurones. L’indépendance vaut à l’intérieur d’une de ces couches, pas d’une couche à l’autre, puisque chacune attend le résultat de la précédente. Une seule couche donne déjà de quoi occuper des milliers de cœurs.

Du jour au lendemain, ou presque, le composant qui comptait n’était plus le processeur mais la carte graphique. Une pièce que l’on associait aux adolescents et aux jeux de tir allait devenir la ressource stratégique la plus disputée de la planète. Changer d’algorithme n’a pas seulement changé la façon d’écrire des programmes ; cela a redistribué la valeur dans toute la filière informatique, du logiciel vers le matériel.

Depuis, la course au silicium ne s’est plus arrêtée. On sait aujourd’hui graver des puces encore plus spécialisées que le GPU, taillées pour ces seuls calculs : les TPU (tensor processing unit) de Google, les NPU (neural processing unit) de nos téléphones. Mais le GPU garde une longueur d’avance qui n’a rien à voir avec la performance pure : il était déjà là, produit en masse et facile à programmer, quand les autres devaient encore être inventés. Toute cette débauche d’ingénierie pour une raison qui reste, au fond, désarmante de simplicité : multiplier des nombres, les additionner, recommencer des milliards de fois. Du silicium, de l’électricité, de l’algèbre linéaire.

Sources

Février 2012 : une voiture qui n’apprenait rien

  • Cours 1 de réalisation d’une voiture autonome · Shy Robotics, février 2012
  • Self-supervised Monocular Road Detection in Desert Terrain · Hendrik Dahlkamp, Adrian Kaehler, David Stavens, Sebastian Thrun et Gary Bradski, Robotics: Science and Systems II, août 2006 : l’équipe de Stanley décrit elle-même sa course, cent trente-deux miles en sept heures, et c’est elle qui nomme le désert du Nevada ; relu par les pairs
  • Novel approach to nonlinear/non-Gaussian Bayesian state estimation · N. J. Gordon, D. J. Salmond et A. F. M. Smith, IEE Proceedings F, Radar and Signal Processing, volume 140, n° 2, 1993, page 107 : l’article qui fonde le filtre particulaire décrit plus haut, le premier des quatre outils au programme du cours de février 2012 ; relu par les pairs, doi 10.1049/ip-f-2.1993.0015
  • What we’re driving at · blog officiel de Google, 9 octobre 2010, signé Sebastian Thrun, Distinguished Software Engineer : l’annonce du projet de voiture autonome de Google par celui-là même qui donnait le cours de février 2012
  • ImageNet Large Scale Visual Recognition Challenge 2012 (ILSVRC2012) · Stanford Vision Lab : les trois épreuves, mille catégories, 1,2 million d’images d’apprentissage, 50 000 de validation et 100 000 d’examen, cinq propositions au plus par image, le recouvrement de plus de 50 % exigé pour la localisation, la clôture le 30 septembre 2012 et l’atelier du 12 octobre à Florence
  • Résultats officiels du concours ImageNet 2012 (ILSVRC2012) · Stanford Vision Lab : l’équipe SuperVision (Krizhevsky, Sutskever, Hinton, université de Toronto) à 0,15315 d’erreur, la deuxième à 0,26172
  • Google acquires U of T neural networks company · Sara Franca, communiqué de l’université de Toronto, 12 mars 2013 : le rachat par Google de la société de Geoffrey Hinton, Alex Krizhevsky et Ilya Sutskever
  • Google buys University of Toronto startup · CBC, 13 mars 2013 : c’est cette pièce-ci qui donne le nom de la société, DNNresearch Inc., incorporée en 2012 par les trois mêmes
  • Baidu Opens Silicon Valley Lab, Appoints Andrew Ng as Head of Baidu Research · communiqué Baidu, 16 mai 2014 : quatorze mois plus tard, l’autre terme du délai ; le même communiqué date de 2013 l’Institute of Deep Learning
  • Yann LeCun, Chief AI Scientist, Facebook AI Research · fiche de Meta, non datée : elle établit l’arrivée de LeCun chez Facebook en décembre 2013
  • On Welsh Corgis, Computer Vision, and the Power of Deep Learning · blog de Microsoft Research, 14 juillet 2014 : le projet Adam, commencé dix-huit mois plus tôt, soit début 2013
  • Boston Dynamics Now Belongs to Google · Evan Ackerman et Erico Guizzo, IEEE Spectrum, 14 décembre 2013, presse spécialisée : les sept jeunes pousses de robotique rachetées début décembre, puis Boston Dynamics, le tout confié à Andy Rubin
  • Google Acquires Seven Robot Companies, Wants Big Role in Robotics · IEEE Spectrum, 4 décembre 2013 ; c’est cette pièce-ci, et non la précédente, qui nomme les sept : Schaft, « une petite équipe de roboticiens japonais récemment sortis de l’université de Tokyo », Industrial Perception et ses bras à vision, Meka et Redwood Robotics à San Francisco, Bot & Dolly, Autofuss et Holomni

Pourquoi ces réseaux de neurones n’ont rien de biologique

Le calcul neuronal ne tient pas sur un processeur ordinaire

  • CDC 6600’s Five Year Reign · Computer History Museum : la domination de Control Data et le passage de relais au CDC 7600 en 1969 ; notice de musée
Article précédentLa seule échéance datée n’est pas technique
David LEBLANC
David Leblanc, ingénieur et auteur. Il a ouvert Shy Robotics en 2011 pour comprendre la robotique en la racontant, et y a publié 450 articles en deux ans. Le blog l'a mené au journalisme spécialisé pour le magazine Planète Robots, à des entretiens avec des figures du domaine comme Colin Angle, et à un documentaire sur le mouvement maker. Il a publié Smart World en 2017, puis Usines à Impact. Il écrit ces articles avec l'aide de l'intelligence artificielle. Elle ne choisit ni les sujets ni les conclusions. Elle accélère le passage de l'idée au texte publié, vérifie les faits, remonte aux sources, et signale les angles morts du raisonnement.

LAISSER UN COMMENTAIRE