Quand les bons algorithmes tournent mal : comment les recommandations de l’IA peuvent favoriser des comportements néfastes sur les marchés d’affectation

Choisir la bonne école pour son enfant, trouver l’emploi idéal, ou même dénicher la communauté parfaite où un réfugié nouvellement arrivé pourra s’installer : autant de décisions qui changent le cours d’une vie, mais qui sont difficiles à prendre. Alors qu’auparavant, les gens se basaient sur leur expérience passée, sur des conseils ou sur des brochures pour faire leur choix, ils peuvent désormais utiliser des outils d’intelligence artificielle (IA). Ces outils s’appuient sur des données passées pour prédire où un étudiant ou un employé pourrait s’épanouir. En théorie, des prédictions précises aident les gens à faire de meilleurs choix. Mais conduisent-elles à de meilleurs résultats au fil des années ?

Pas toujours, en réalité. Le problème est que les institutions peuvent être incitées à modifier leur comportement afin d’influencer ces prédictions, même si de telles actions peuvent, à terme, nuire tant aux institutions qu’à leurs membres. Ma récente étude (en collaboration avec Yuhao Du, Kenneth Joseph et Anikó Hannák) s’est penchée sur la manière dont cela peut se produire et les raisons qui l’expliquent, en prenant pour exemple les orientations vers les lycées.

Modifier les prévisions par le biais d’interactions antagonistes

Imaginons un système dans lequel les affectations scolaires sont déterminées par des planificateurs centraux sur la base des préférences déclarées par les élèves. (Des mécanismes d’orientation centralisés similaires sont également utilisés dans d’autres contextes, comme l’affectation de réfugiés dans des États ou des cantons particuliers en fonction de la prédiction de leurs chances de trouver un emploi.)

Les élèves peuvent utiliser un système de recommandation basé sur l’IA pour identifier leurs options préférées, l’IA analysant les résultats des anciens élèves dans toutes les écoles. Si des élèves ayant un faible niveau en mathématiques ont obtenu de bons résultats à l’école A, l’IA recommandera l’école A à des élèves similaires l’année suivante. Si ces élèves suivent les recommandations de l’IA, les responsables de l’orientation constateront que l’école A est privilégiée par de nombreux élèves ayant des difficultés en mathématiques. 

Mais l’école A peut modifier ces prévisions en adoptant un comportement différent. Imaginons que l’école souhaite attirer davantage d’élèves ayant de solides bases en mathématiques dans les années à venir, peut-être parce que, bien qu’elle dispose de bons programmes pour aider les élèves aux bases plus faibles, ceux-ci sont coûteux et prennent beaucoup de temps. En privant légèrement de soutien scolaire ou de financement des activités extrascolaires sa promotion actuelle d’élèves aux bases plus faibles, l’école A peut amener l’IA à la juger moins attractive pour ce type d’élèves, ce qui se traduira au final par moins de recommandations adressées à des élèves similaires lors du prochain cycle scolaire. Cela permet à l’école A d’être mise en adéquation avec les profils d’élèves qu’elle privilégie.

Les établissements peuvent donc modifier leur comportement afin d’influencer les prévisions futures. C’est ce que l’on appelle une attaque par interaction antagoniste.

Une plus grande exactitude implique un risque accru

Lorsqu’ils développent des systèmes d’IA, les ingénieurs visent souvent une grande exactitude  – ce qui signifie que les prédictions du système doivent être aussi proches que possible des résultats réels observés. Intuitivement, cela est utile. Si l’IA indique à un élève que l’école A le préparera à obtenir un excellent résultat à son examen final, et que cela s’avère vrai, cet élève peut faire des choix judicieux et éclairés en se basant sur les conseils de l’IA. Cela signifie également que l’élève peut faire confiance aux recommandations qu’il reçoit.

Cependant, l’exactitude est mesurée par rapport à ce que l’IA observe. Si le système est exact, tout changement dans le comportement d’une école sera également rapidement pris en compte par l’IA. De plus, si les élèves lui font confiance, les recommandations de l’IA se refléteront dans les préférences exprimées par les élèves. Si l’IA est perçue comme peu fiable, personne ne l’écoute de toute façon, et les écoles n’ont donc aucun intérêt à tenter de la contourner.

Ce qui précède explique un résultat qui peut paraître surprenant à première vue : si l’IA fait des prédictions plus exactes et plus fiables, les établissements peuvent alors être davantage incités à mettre en œuvre des attaques par interaction adversaire.

Quel est l’impact sur l’équité ? 

Dans notre exemple, cela signifie que les établissements consacrent moins de ressources à la préparation des élèves. Mais tous les élèves ne sont pas touchés de la même manière. Notre analyse suggère que les élèves qui ont besoin de plus d’aide subiraient une baisse plus importante de leurs résultats. Sachant que leur besoin d’aide peut résulter uniquement du fait qu’ils ont eu moins d’opportunités par le passé, les recommandations de l’IA peuvent exacerber les inégalités, quel que soit le potentiel de l’individu.

Cela signifie-t-il que nous devrions renoncer aux recommandations basées sur les résultats et revenir aux anciennes méthodes ? Ce n’est pas la seule option. Le principal enseignement à retenir est que nous ne devrions plus concevoir les mécanismes d’affectation (le processus d’attribution des places scolaires aux élèves) et les systèmes d’IA de manière isolée. Traditionnellement, ce sont les ingénieurs et les informaticiens qui conçoivent et analysent les systèmes de recommandation basés sur l’IA, tandis que les économistes ou les administrateurs s’occupent des mécanismes d’affectation. Cependant, en travaillant de manière isolée, nous passons à côté de la boucle de rétroaction dans laquelle des actions stratégiques peuvent viser à modifier les prédictions de l’IA afin d’aboutir à des mises en correspondance différentes à l’avenir.

Il existe des solutions alternatives . Par exemple, nous pouvons maintenir une exactitude plus faible dans notre modèle de prédiction afin de décourager les attaques par interaction. Nous pouvons également choisir des mécanismes qui permettent aux établissements d’exprimer leurs véritables préférences sans contrainte et de prendre ces préférences en compte. 

Résoudre ce problème exige une perspective plus large

J’étudie actuellement encore davantage d’interventions et de domaines d’application, en accordant une attention particulière à l’équité sociale. Dans le cadre d’un projet conjoint entre l’ETH Zurich et l’Université technique d’Eindhoven aux Pays-Bas, en collaboration avec Kai Zhang, Sophia Lahrech, Florian Dörfler, Giulia de Pasquale et Valentina Breschi, nous nous penchons sur le problème de l’affectation des réfugiés. Dans ce cas, le planificateur social choisit les appariements qui maximisent l’intégration des réfugiés, comme le prédisent les modèles d’IA. Cependant, nos résultats préliminaires suggèrent que les localités auxquelles les réfugiés sont affectés pourraient manipuler le système à l’aide d’interactions antagonistes qui retardent l’insertion professionnelle des réfugiés – tout comme dans l’exemple de l’école. 

Du côté des mesures d’intervention, nous avons montré qu’un planificateur social pourrait réduire l’incitation aux interactions antagonistes en limitant l’ampleur des changements qu’un modèle d’IA peut subir au fil du temps. (Cette approche est similaire à la solution proposée dans le cadre du choix d’école, qui conservait une certaine part de bruit dans les prédictions de l’IA.)

Ces attaques par interactions adversaires illustrent ce qui peut mal tourner lorsque des systèmes technologiques sophistiqués sont déployés dans des contextes sociaux déjà complexes. Dans mes recherches, je m’efforce d’intégrer cette complexité sociale dans les calculs afin de favoriser une meilleure évaluation et une meilleure conception des systèmes. J’utilise un langage mathématique pour combiner plusieurs domaines au sein d’un même modèle : non seulement les systèmes techniques (développés en informatique), mais aussi les comportements humains individuels et collectifs en jeu (issus de la psychologie, de la sociologie et de l’économie), ainsi que les propriétés souhaitées du système (formulées par l’éthique, la philosophie et le droit). 

En réunissant toutes ces perspectives, nous pouvons analyser le système sociotechnique de manière holistique. Il est alors possible de concevoir des systèmes qui non seulement optimisent l’efficacité à court terme, mais tiennent également compte de l’équité sociale ainsi que d’autres objectifs à long terme.

Ainsi, pour les établissements scolaires, nous avons enrichi les modèles de choix d’école largement utilisés en économie d’une composante d’IA, et nous avons eu recours à la théorie des jeux pour mettre en évidence les interactions nuisibles. Nous avons ensuite mené une étude similaire dans le contexte des réfugiés et nous nous sommes appuyés sur des méthodes d’optimisation et de contrôle pour proposer des systèmes d’aide à la décision plus robustes.

Mais il reste encore beaucoup à explorer. À mesure que les systèmes d’IA s’intègrent dans de nouveaux processus décisionnels et évoluent, de nouvelles vulnérabilités apparaissent. Que se passera-t-il sur le marché du travail à mesure que nous nous appuierons davantage sur des recommandations automatisées pour choisir un emploi ? Les employeurs seront-ils incités à attaquer le système et, si tel est le cas, les mêmes interventions seraient-elles efficaces ? Ces questions restent en suspens pour l’avenir. Ce travail nous a montré que nous avons besoin d’une analyse multidisciplinaire intégrée pour garantir que les systèmes d’IA favorisent le développement harmonieux de notre société, non seulement dans un avenir proche, mais aussi à long terme.