Revenir à ce que nous savons : Injecter des connaissances physiques dans les réseaux neuronaux
Les réseaux neuronaux (RN) - une forme d'intelligence artificielle - peuvent battre les humains au jeu de Go, prédire la structure 3D des protéines ou répondre de manière convaincante à des questions complexes. Pourtant, malgré ces grands succès, les réseaux neuronaux peuvent également échouer de manière assez spectaculaire en raison du phénomène d'apprentissage par raccourci. Ils parviennent parfois à résoudre la tâche d'une manière inattendue, par exemple en différenciant les chiens des chats sur la base de la présence ou non d'une laisse. Si cela fonctionne, dans une certaine mesure, ce n'est pas conforme à notre intuition humaine. Nous savons que ce n'est pas la vraie différence entre les chats et les chiens, et cela ne fonctionnera pas toujours.
Le problème, c'est que les NN ne vous donneront aucun retour sur ce qu'ils font - il n'existe aucun moyen pour les humains de détecter les échecs des NN, ce qui les rend ininterprétables dans la pratique. En outre, si l'on laisse passer un tel raccourci, des erreurs plus importantes pourraient se produire ultérieurement. Si, par exemple, le réseau national était chargé de donner des conseils sur les soins médicaux à apporter à l'animal identifié, il serait très important de savoir avec certitude de quel animal il s'agit. Le même type de faiblesse entraîne des risques pour l'homme lorsque les réseaux neuronaux sont déployés pour modéliser ou contrôler des systèmes physiques (potentiellement critiques pour la sécurité) tels que les systèmes de chauffage des bâtiments, ce qui rend le problème urgent à résoudre.
Pourquoi cela se produit-il et comment pouvons-nous prévenir de telles défaillances ? Commençons par le commencement.
Un réseau neuronal, qu'est-ce que c'est ?
La conception des réseaux neuronaux vise à reproduire le cerveau humain. À ce titre, les réseaux neuronaux sont composés d'un ensemble de neurones (généralement organisés en couches) et de connexions (analogues aux synapses du cerveau humain). Bien sûr, les neurones sont ici des fonctions mathématiques plutôt que des nerfs... mais c'est l'idée. Un réseau national prend des données (une image, par exemple) en entrée et les transmet au réseau. Chaque neurone agrège et transforme les données qu'il reçoit des autres neurones avant de les envoyer aux neurones suivants. À la fin du processus, le réseau national produit un résultat (tel que "chat" ou "chien").
C'est là que réside la magie des réseaux nationaux, et la raison pour laquelle ils sont utilisés partout : nous pouvons les entraîner à atteindre un objectif donné (ici, différencier les chats des chiens) ! En d'autres termes, nous savons comment modifier les neurones et les connexions des NN jusqu'à ce qu'ils accomplissent la tâche souhaitée. C'est très intéressant, non ?
Cette structure en réseau complexe inspirée du cerveau est à la fois la principale force et le piège des réseaux neuronaux : elle leur permet d'atteindre des performances surhumaines dans de nombreuses tâches, mais les rend essentiellement impossibles à comprendre ou même à interpréter. Après tout, nous ne comprenons pas vraiment non plus le comportement de notre propre cerveau. C'est pourquoi les réseaux nationaux sont souvent qualifiés de modèles à boîte noire : lorsque vous travaillez avec des réseaux nationaux, vous leur donnez des données d'entrée et vous observez les données de sortie, sans vraiment savoir ce qui se passe entre les deux !
Nous ne comprenons pas pourquoi les NN fonctionnent, mais pourquoi s'en soucier ?
C'est en effet une bonne question : si les NN fonctionnent, pourquoi se soucierait-on du pourquoi et du comment ?
Eh bien, puisque nous ne savons pas pourquoi ils fonctionnent, cela signifie également que nous n'avons aucune idée du pourquoi ou - ce qui est peut-être plus grave - du quand ils échoueront. Et c'est très probablement le cas.
Si le fait de classer à tort un chat dans la catégorie des chiens peut ne pas avoir d'importance, cela peut rapidement devenir contraire à l'éthique ou dangereux lorsque des êtres humains sont concernés. Vous ne voudriez pas manquer une opportunité d'emploi simplement parce qu'un NN a décidé par erreur que votre CV n'était pas assez bon. Et c'est sans compter les problèmes comme les accidents de voitures autonomes...
Le fait est que les interactions avec les humains sont inévitables dans de nombreuses applications, en particulier lorsqu'il s'agit de travailler avec des systèmes physiques. Nous avons besoin de solutions pour contrôler ce que font les réseaux neuronaux dans la pratique.
Nos récentes analyses, par exemple, ont mis en évidence le problème de l'apprentissage par raccourci lors de la modélisation de la température à l'intérieur d'un bâtiment. Certains réseaux neuronaux classiques de type "boîte noire" étaient en effet capables de prédire très bien la température, mais sans tenir compte de la puissance absorbée ! En d'autres termes, pour ces NN, le chauffage ou le refroidissement d'une pièce n'a absolument aucun impact sur sa température. Ils ont observé certaines corrélations dans les données, mais n'ont pas compris la causalité - par exemple, la chaîne d'événements qui a commencé par un temps froid à l'extérieur conduisant à l'activation des systèmes de chauffage, ce qui a entraîné des changements de température à l'intérieur du bâtiment, leur a échappé.
Nous avons même découvert que certains des réseaux nationaux entraînés avaient parfois tendance à inverser complètement les lois de la thermodynamique, pensant que le chauffage d'un bâtiment pouvait finalement conduire à des températures plus basses que son refroidissement (figure 2) ! C'est assez drôle, mais pas très pratique - à moins de créer une intelligence artificielle capable de réécrire les lois physiques de notre monde.
Bien entendu, cela signifie qu'un NN aussi défectueux est inutile pour contrôler les températures d'un bâtiment, par exemple. Puisqu'il ne comprend pas ce qu'est le chauffage, il pourrait ne jamais demander au bâtiment de chauffer pendant tout l'hiver, quelle que soit l'épaisseur de la neige à l'extérieur.
Et, à moins que vous ne le formiez à nouveau pour lui enseigner les bons comportements, le NN n'a aucun moyen de comprendre qu'il a fait quelque chose de mal ! Le pire, c'est qu'il n'est pas conscient de ses défauts et qu'il ne donne aucune information en retour sur ce qu'il fait. Et si un ingénieur ne se rend jamais compte que quelque chose ne va pas dans son modèle, cela peut entraîner les dangers éthiques ou physiques que nous avons évoqués plus haut.
Des réseaux neuronaux physiquement cohérents
D'autre part, les lois de la thermodynamique sont connues depuis des décennies, ce qui nous permet de concevoir des modèles fondés sur la physique sous-jacente - et qui sont donc corrects de par leur conception. L'inconvénient, bien sûr, est qu'ils sont beaucoup moins précis que les réseaux neuronaux, qui peuvent rendre compte de phénomènes très complexes grâce à leurs nombreuses connexions. Ne serait-il pas formidable de pouvoir tirer le meilleur des deux mondes ?
C'est exactement ce que font les réseaux neuronaux à cohérence physique (PCNN), comme vous pouvez le constater dans nos derniers articles. L'idée principale est de capturer le phénomène physique connu dans un module inspiré de la physique, qui fonctionne en parallèle avec l'architecture pure du réseau neuronal à boîte noire. Cela nous permet de nous assurer que ce que nous savons de la physique sous-jacente est respecté dès la conception, tout en tirant parti de la structure complexe des NN pour capturer des phénomènes complexes que le module inspiré par la physique ne peut pas appréhender.
Dans le cas de la modélisation de la température d'un bâtiment, le module inspiré de la physique veille à ce que le chauffage entraîne des températures plus élevées, le refroidissement des températures plus basses, et à ce que les températures extérieures basses ne puissent pas chauffer votre bâtiment. Les performances sont excellentes, voire meilleures que celles des réseaux nationaux purs. Nous constatons qu'il est utile de forcer le modèle à suivre la physique sous-jacente (figure 5, adaptée d'ici) ! Ce PCNN est conscient de l'impact du chauffage et de la climatisation et - s'il est utilisé pour contrôler votre bâtiment - on peut lui faire confiance pour ne pas vous laisser geler sur votre canapé tout l'hiver.
Au-delà des bâtiments
Nous avons utilisé des modèles de bâtiments comme cas pratique pour étudier les performances des PCNN, mais ils peuvent bien sûr être appliqués à n'importe quelle tâche pour laquelle on connaît (en partie) la physique sous-jacente. Il suffit en effet de connaître un peu le système pour concevoir le module inspiré de la physique - et vous laissez ensuite le module boîte noire, fonctionnant en parallèle, capturer des phénomènes inconnus et/ou non modélisés potentiellement très complexes.
Et le plus beau, c'est que vous n'avez rien d'autre à faire. Une fois que le module inspiré de la physique a été créé, vous pouvez apprendre les paramètres du NN et du module inspiré de la physique en une seule fois ! Si vous êtes intéressé, n'hésitez pas à vérifier comment les PCNN sont mis en œuvre dans la pratique sur GitHub.
Vous voulez en savoir plus sur ce domaine de recherche ? Découvrez les autres techniques que nous avons utilisées pour nous assurer que les réseaux neuronaux ne font pas de bêtises ici et ici, et sur mon site web.
