
Silicium, électricité, algèbre linéaire : voilà ce que coûte un seul neurone. Reste à savoir ce que l’on en fait quand on en met plusieurs, car un neurone seul ne décide pas de grand-chose : sa puissance naît de l’empilement. On range les neurones en couches, des rangées parallèles dont les neurones ne se parlent pas entre eux, mais dont chacune reçoit ce que la précédente a produit. La première couche reçoit les données brutes, les points d’une image (ses pixels) ou les mots d’une phrase, à condition de les avoir d’abord convertis en nombres. La dernière couche donne la réponse.
Entre les deux, les couches cachées (hidden layer), ainsi nommées parce que rien de ce qu’elles calculent n’est directement visible de l’extérieur. Le mot « cachées » désigne ici une simple commodité de vocabulaire, mais il a longtemps désigné un mur : pendant près de vingt ans, personne n’a su entraîner ces couches du milieu.

Ce qui circule : des nombres, et rien d’autre
Car un réseau ne voit rien, au sens propre. Il ne sait faire que ce que vous avez vu faire au neurone dans l’épisode précédent : multiplier, additionner, comparer. Il n’y a donc pas d’image qui entre dans un réseau, il n’y a que des nombres qui entrent dans des neurones, un nombre par neurone d’entrée. Pour une image en niveaux de gris, la conversion ne demande aucune astuce, parce que l’image est déjà des nombres : une fois décompressé, un fichier image n’est rien d’autre qu’une grille de points, chacun portant une valeur de luminosité, du noir absolu au blanc pur. On déroule cette grille en une seule longue file, comme on lirait un damier case par case, et l’on branche chaque valeur sur un neurone. Une image en couleur donne trois valeurs par point, rouge, vert et bleu, donc trois fois plus de nombres à brancher. Aucune magie, un simple recopiage.

Toutes les images doivent-elles alors avoir la même taille ? Pour le réseau que nous décrivons ici, oui, sans échappatoire. Le nombre de neurones d’entrée est fixé une fois pour toutes, au moment où l’on dessine l’architecture. Une couche d’entrée de sept cent quatre-vingt-quatre neurones attend sept cent quatre-vingt-quatre nombres, ni plus ni moins : une image de trente points de côté en apporte neuf cents, et cent seize d’entre eux n’ont nulle part où entrer. Il en va de même pour les couleurs : un réseau bâti pour trois valeurs par point ne saura pas quoi faire d’une image en niveaux de gris, et réciproquement.

La parade est aussi rustique qu’elle en a l’air : on ramène tout le monde au même format avant d’entrer. On redimensionne, on recadre, on complète les bords. Et l’on paie le prix correspondant, qui n’est pas anodin : une photographie panoramique forcée dans un carré perd ses côtés, un sujet excentré sort du cadre, les proportions se déforment. Cette contrainte sera levée par étapes : en 2024, Sora, le générateur de vidéos d’OpenAI, s’entraînera sur des images de toutes tailles et de toutes proportions.

Comptez les entrées d’un vrai réseau. Prenez le cas d’école du domaine, la base de chiffres manuscrits MNIST, diffusée en 1998 par Yann LeCun, Corinna Cortes et Christopher Burges et devenue depuis l’étalon de tous les manuels : de petites images de vingt-huit points de côté, en niveaux de gris, où chaque point vaut de 0 pour le noir à 255 pour le blanc. Vingt-huit multiplié par vingt-huit égale sept cent quatre-vingt-quatre. La première couche de ces réseaux compte donc exactement sept cent quatre-vingt-quatre neurones, un par point de l’image, et l’usage veut qu’on ramène au passage chaque valeur entre 0 et 1 en la divisant par 255, pour que tous les nombres qui entrent soient du même ordre de grandeur. À l’autre bout, dix neurones de sortie, un par chiffre possible.
Le réseau de 1989 que nous retrouverons bientôt travaillait sur des images plus petites encore, seize points de côté : le principe est identique, seul le compte change. Entre les deux, les couches cachées. Voilà un réseau complet, décrit de bout en bout.

Pour les mots, c’est une tout autre affaire. Là où l’image se contentait d’un recopiage, le langage a résisté pendant des décennies, pour une raison : un mot n’est pas un nombre, et ne ressemble à aucun nombre. Lui en attribuer un au hasard, comme on numéroterait des dossiers, ne mène à rien du tout : il a fallu attendre les années 2010 pour trouver la bonne manière de faire, et nous y viendrons en son temps. La règle est générale : quoi qu’on veuille faire avaler à un réseau, image, son, phrase ou relevé de capteur, il faut d’abord le traduire en une liste de nombres. Cette traduction n’est pas un détail technique préalable à l’histoire, elle en est un des personnages principaux.

Un trait, un poids : le compte d’un vrai réseau
Comptez avec le schéma. Chaque trait relie un neurone à un neurone de la couche suivante, et chacun porte un nombre : son poids. Il décide de ce que pèse, dans la somme du neurone d’arrivée, le signal qui emprunte ce trait. Choisissons l’un de ces traits et donnons-lui le poids 0,80. Nous le retrouverons plus loin : c’est sur lui que nous verrons l’entraînement corriger un réseau.

Compter les poids revient donc à compter les traits, et une multiplication y suffit. Chaque neurone d’une couche est relié à tous ceux de la couche suivante : un neurone placé devant une couche de 6 envoie 6 traits, et 4 neurones en envoient 4 × 6 = 24.

Le réseau du schéma aligne quatre couches de 4, 6, 6 et 2 neurones. La même multiplication vaut entre chaque paire de couches voisines : 24 traits entre les deux premières, 6 × 6 = 36 entre les deux suivantes, 6 × 2 = 12 entre les deux dernières, soit 72 poids en tout. Les biais, présentés un peu plus loin, en ajouteront quelques-uns sans changer l’ordre de grandeur.

Mesurez l’écart avec ce que l’on construit aujourd’hui. En 2020, GPT-3, le réseau d’OpenAI entraîné à écrire du texte, compte cent soixante-quinze milliards de nombres réglables, presque tous des poids : près de deux milliards et demi de fois les soixante-douze de notre dessin. Le compte se fait pourtant de la même façon, couche après couche.
Ce compte n’a rien d’un exercice d’école. En 1988, à l’université Carnegie Mellon, Dean Pomerleau branche une caméra sur un réseau de cette forme et le laisse conduire. Son système, ALVINN, regarde la route à travers une rétine de trente sur trente-deux unités, chacune recevant l’intensité du bleu de la portion d’image correspondante, parce que c’est dans le bleu que la chaussée se détache le mieux du reste. S’y ajoute une seconde rétine de huit sur trente-deux, alimentée par un télémètre laser. En tout, le réseau reçoit mille deux cent dix-sept nombres.
Faites l’addition, elle ne tombe pas ronde. Neuf cent soixante unités pour la vidéo, deux cent cinquante-six pour le laser : mille deux cent seize. Il en manque une, et cette unité solitaire vaut qu’on s’y arrête. Elle porte une seule information, la plus rustique qui soit : à l’image précédente, la chaussée était-elle plus claire ou plus sombre que ses bords ? Et c’est le réseau lui-même qui produit cette réponse, à sa sortie ; on la lui repasse à l’entrée au pas suivant. Une mémoire d’un seul chiffre, bouclée de la sortie vers l’entrée.
Le décompte tient alors debout, et vous pouvez le refaire. Mille deux cent dix-sept entrées, vingt-neuf neurones cachés, quarante-six sorties : quarante-cinq codent la courbure du virage à prendre, la dernière est cette intensité que la boucle rapportera à l’entrée. Mille deux cent dix-sept fois vingt-neuf, plus vingt-neuf fois quarante-six : trente-six mille six cent vingt-sept poids.

Reste l’épreuve de la vraie route. Le réseau n’a jamais vu de photographie : il a appris sur mille deux cents images de route fabriquées par ordinateur. On l’installe pourtant à bord du NAVLAB, le véhicule d’essai de Carnegie Mellon, un fourgon Chevrolet chargé d’ordinateurs, d’une caméra et d’un télémètre laser. Par une journée d’automne ensoleillée, ALVINN le conduit sur quatre cents mètres d’une allée boisée du campus, à un demi-mètre par seconde, l’allure d’un marcheur lent. Une autre équipe de Carnegie Mellon obtenait la même précision deux fois plus vite, mais avec un programme de traitement d’image mis au point pendant des mois ; une fois les images de synthèse prêtes, le réseau, lui, s’est entraîné en une demi-heure environ. Pomerleau, dans son article de 1988, en tire la leçon : ce sont les données, et non le programmeur, qui ont décidé de ce qu’il fallait regarder dans l’image. Vingt-quatre ans avant la voiture de 2012, quelqu’un avait déjà pris l’autre chemin.

Ce qui s’apprend : le biais, puis les paramètres
Reste une dette, contractée à l’épisode précédent. Lorsque vous avez fait tourner un neurone à la main, la consigne disait : le seuil est fixé à 1. Fixé par qui, et pourquoi 1 ? De ce nombre dépend le caractère du neurone. Un seuil élevé fait un juge difficile, qui exige des preuves accablantes avant de dire oui ; un seuil bas fait un juge complaisant, qui s’enflamme au premier indice. Rien n’oblige tous les neurones d’un réseau à avoir le même tempérament, et surtout, ce n’est pas à un ingénieur d’en décider à leur place : ce serait retomber dans la voiture de 2012.
Vérifiez qu’un seuil change la fonction du neurone. Prenez un neurone à deux entrées, les deux poids valant 1, et des entrées qui valent 0 ou 1. Réglez le seuil à 1,5 : il ne dit oui que si la somme atteint 1,5, donc uniquement quand les deux entrées valent 1. Ce neurone dit « et ». Maintenant, sans toucher à un seul poids, abaissez le seuil à 0,5 : une seule entrée à 1 suffit désormais. Le même neurone, avec les mêmes poids, dit maintenant « ou ». Le seuil ne règle pas l’intensité de la réponse, il décide de ce que le neurone calcule.

Pour que l’apprentissage règle ce tempérament, il faut le lui rendre accessible. Or la règle d’apprentissage, que nous verrons à l’œuvre, corrige les nombres qui pèsent dans la somme : les poids. Le seuil, lui, n’est pas dans la somme ; il attend à côté, dans la comparaison. D’où une astuce, l’une des plus économiques de l’histoire du domaine : on fixe le seuil une fois pour toutes, et l’on ajoute à la somme, juste avant de comparer, un nombre propre à chaque neurone. Ce nombre s’appelle le biais (bias).
Vérifiez que le biais fait le travail du seuil. Reprenez le neurone « et » : poids 1 et 1, seuil 1,5. Avec un biais de 0, rien ne change : seule la somme 1 + 1 atteint 1,5. Donnez-lui maintenant un biais de 1, sans toucher au seuil. Les quatre sommes deviennent 1, 2, 2 et 3, et trois d’entre elles franchissent 1,5 : le neurone dit « ou », exactement comme lorsque l’on avait baissé le seuil à 0,5. Ajouter 1 à la somme revient à baisser le seuil de 1. Le tempérament du neurone est devenu un nombre comme les autres, que l’entraînement ajustera par le même mécanisme que les poids, sans qu’aucun humain n’ait à en décider.

Le neurone de McCulloch et Pitts, en 1943, comparait déjà sa somme à un seuil, mais ce seuil était déterminé à la main, au cas par cas. Le perceptron de Rosenblatt le transforme en un poids ordinaire, en le rattachant à une entrée fictive qui vaut toujours 1 : puisque cette entrée ne varie jamais, le poids qui lui est attaché ne fait rien d’autre que décaler la somme, et la règle d’apprentissage peut le corriger comme n’importe quel autre. L’ADALINE de Bernard Widrow et de Marcian Hoff, à Stanford en 1960, décrit ce réglage dans les mêmes termes : une entrée branchée en permanence sur une source qui vaut 1, dont le gain fait varier une constante ajoutée à la somme. Le mécanisme est donc là, et daté. Le mot « biais », lui, n’y est pas encore : l’article de 1960 parle de gains, et appelle celui-là « le niveau ».

Cette machine-là, on pouvait la regarder. L’ADALINE tenait, écrivent ses auteurs, dans le volume d’une gamelle de chantier. On lui présentait un motif en basculant seize interrupteurs disposés en carré, un dix-septième interrupteur disait la réponse attendue, et l’erreur se lisait sur un cadran. L’opérateur tournait alors les réglages à la main, tous de la même quantité, chacun dans le sens qui réduisait l’erreur. Comptez avec eux : seize interrupteurs, et dix-sept réglages. Le dix-septième n’a pas d’interrupteur parce qu’il n’attend aucune donnée : c’est le biais.
Une précision pour éviter le pire malentendu de ce dossier : ce biais-là n’a rien à voir avec un préjugé. C’est un décalage, comme le réglage du zéro d’une balance de cuisine : tourner la molette décale toutes les pesées d’autant, sans rien changer à ce que l’on pèse.
Il nous faut maintenant un mot pour désigner tout ce que le réseau apprend, car ce n’est pas seulement les poids. Poids et biais réunis, ce sont les paramètres (parameter) du réseau : le nom collectif de toutes les valeurs que l’entraînement ajuste, une à une, pour que la machine réponde juste. Le poids est donc une sorte de paramètre, la plus nombreuse, mais pas la seule. Attention à ne pas le confondre avec un autre réglage : le nombre de couches, lui, n’est pas un paramètre appris mais un choix d’architecture fixé d’avance, ce qu’on nomme un hyperparamètre (hyperparameter). L’architecte décide du nombre d’étages et de leur largeur ; l’entraînement, lui, ne décide que de ce qui se passe à l’intérieur. Quand on annonce la taille d’un modèle, ce sont bien les paramètres appris que l’on compte, et jamais le nombre de couches.

Et c’est très exactement cela, un modèle : d’un côté un gigantesque fichier de nombres, les paramètres appris ; de l’autre un petit fichier de configuration, le plan de câblage, qui indique combien de couches, quelle largeur, quelles opérations et dans quel ordre les enchaîner. Le premier pèse des dizaines ou des centaines de gigaoctets, le second tient sur une poignée de lignes. Réunis, ils suffisent à faire tourner le modèle. Le petit réseau de cet épisode tiendrait ainsi en quatre-vingt-six nombres, ses soixante-douze poids et ses quatorze biais, et en une ligne qui dit 4, 6, 6, 2.

Ces nombres, personne ne les a écrits à la main. Reste à savoir ce qui les écrit : lorsqu’un réseau à plusieurs couches se trompe, rien ne dit lequel de ses poids est fautif, et c’est la question qu’il faudra résoudre pour que l’empilement serve à quelque chose.
Sources
Ce qui circule : des nombres, et rien d’autre
- Gradient-based learning applied to document recognition · Yann LeCun, Léon Bottou, Yoshua Bengio et Patrick Haffner, Proceedings of the IEEE, volume 86, n° 11, 1998, pages 2278 à 2324, doi 10.1109/5.726791 : l’article qui présente la base MNIST et ses images de vingt-huit points sur vingt-huit ; relu par les pairs
- Backpropagation Applied to Handwritten Zip Code Recognition · Yann LeCun et al., Neural Computation, volume 1, n° 4, 1989 : le réseau de 1989 et ses images de seize points sur seize ; relu par les pairs
- Video generation models as world simulators · OpenAI, 15 février 2024 : l’entraînement de Sora sur des vidéos de durées, de résolutions et de proportions variables ; rapport technique d’entreprise, sans relecture par des pairs
Un trait, un poids : le compte d’un vrai réseau
- Language Models are Few-Shot Learners · Tom B. Brown et al., OpenAI, prépublication arXiv, mai 2020 : GPT-3 et ses cent soixante-quinze milliards de paramètres
- ALVINN: An Autonomous Land Vehicle in a Neural Network · Dean Pomerleau, actes de la conférence NIPS 1988 : l’architecture du réseau, ses comptes d’unités, l’entraînement sur des images de synthèse et l’essai sur le NAVLAB ; relu par les pairs
Ce qui s’apprend : le biais, puis les paramètres
- Adaptive Switching Circuits · Bernard Widrow et Marcian E. Hoff, IRE WESCON Convention Record, volume 4, août 1960, pages 96 à 104 : page 96, l’entrée branchée en permanence sur une source qui vaut 1 ; page 97, la machine de la taille d’une gamelle, ses seize interrupteurs et ses dix-sept gains









