Quando gli algoritmi efficaci falliscono: come i consigli dell’IA possono favorire comportamenti negativi nei matching market

Scegliere la scuola giusta, trovare il lavoro perfetto o persino individuare la comunità ideale in cui una persona appena arrivato in cerca di asilo possa stabilirsi sono decisioni che cambiano la vita, ma difficili da prendere. Se un tempo le persone facevano le loro scelte basandosi su esperienze passate, consigli o opuscoli, oggi possono avvalersi di strumenti di intelligenza artificiale (IA). Questi strumenti possono utilizzare dati storici per prevedere dove studenti o dipendenti potrebbero avere successo. In teoria, previsioni accurate aiutano le persone a fare scelte migliori. Ma portano davvero a risultati migliori nel corso degli anni?

Non sempre, a quanto pare. Il problema è che le istituzioni possono essere indotte a modificare il proprio comportamento per influenzare queste previsioni, anche se tali azioni possono, in ultima analisi, danneggiare sia le istituzioni stesse che le persone che ne fanno parte. Il mio ultimo lavoto di ricerca (in collaborazione con Yuhao Du, Kenneth Joseph e Anikó Hannák), ha approfondito come e perché ciò possa accadere, prendendo come esempio i percorsi scolastici delle scuole superiori.

Modificare le previsioni tramite interazioni antagonistiche

Si consideri un sistema in cui l’assegnazione delle scuole viene determinata da pianificatori centralizzati sulla base delle preferenze dichiarate dagli studenti e dalle studentesse. (Meccanismi di abbinamento centralizzati simili vengono utilizzati anche in altri contesti, come l’assegnazione delle persone rifugiate a determinati stati o cantoni in base alla loro probabilità prevista di trovare un impiego.)

Gli studenti e le studentesse possono utilizzare un sistema di raccomandazione basato sull’intelligenza artificiale per individuare le loro opzioni preferite, mentre l’IA analizza i risultati ottenuti in passato dagli studenti e dalle studentesse in tutte le scuole. Se studenti con scarse competenze matematiche hanno ottenuto buoni risultati alla Scuola A, l’IA raccomanderà la Scuola A a tali studenti l’anno successivo. Se questi studenti seguono le raccomandazioni dell’IA, i responsabili del piano vedranno che la Scuola A è la preferita da molti studenti con scarse competenze matematiche. 

Ma la Scuola A può modificare le previsioni agendo in modo diverso. Immaginiamo che la scuola voglia attrarre più studenti con una solida preparazione in matematica negli anni a venire, forse perché, sebbene disponga di buoni programmi per aiutare coloro che hanno una preparazione più debole, questi sono costosi e richiedono molto tempo. Negando una parte del sostegno accademico o dei finanziamenti per le attività extrascolastiche all’attuale coorte di studenti con basi più deboli, la Scuola A può indurre l’IA a valutarla come meno attraente per tali studenti, generando in definitiva un minor numero di raccomandazioni a studenti simili nel prossimo ciclo accademico. Ciò consente alla Scuola A di essere abbinata ai profili degli studenti che preferisce.

Pertanto, le scuole possono modificare il proprio comportamento al fine di influenzare le previsioni future. Questo è ciò che chiamiamo «attacco di interazione avversaria».

Maggiore accuratezza significa maggiore rischio

Nello sviluppo dei sistemi di IA, i gruppi di ricerca puntano spesso a un’elevata accuratezza – il che significa che le previsioni del sistema dovrebbero essere il più possibile vicine ai risultati effettivi osservati. Intuitivamente, ciò è utile. Se l’IA dice a uno studente che la Scuola A lo preparerà a ottenere un ottimo punteggio all’esame finale, e ciò si rivela vero, quello studente potrà compiere scelte valide e informate sulla base del consiglio dell’IA. Significa anche che lo studente può fidarsi delle raccomandazioni che riceve.

Tuttavia, la precisione viene misurata in relazione a ciò che l’IA osserva. Se il sistema è preciso, qualsiasi cambiamento nel modo di agire di una scuola verrà rapidamente appreso anche dall’IA. Inoltre, se gli studenti si fidano di essa, le raccomandazioni dell’IA si rifletteranno nelle preferenze espresse. Se l’IA è considerata inaffidabile, nessuno le presta comunque ascolto, quindi aggirarla non vale lo sforzo da parte delle scuole.

Quanto sopra spiega un risultato che inizialmente può sembrare sorprendente: se l’IA formula previsioni più accurate e affidabili, allora le istituzioni possono avere un maggiore incentivo a mettere in atto attacchi di interazione avversaria.

In che modo ciò influisce sull’equità? 

Nel nostro esempio, ciò significa che le scuole investono meno risorse nella preparazione degli studenti. Ma non tutti  ne risentono allo stesso modo. La nostra analisi suggerisce che gli studenti che necessitano di maggiore assistenza subirebbero un peggioramento più marcato dei risultati. Tenendo presente che il loro bisogno di assistenza potrebbe derivare esclusivamente dall’aver avuto meno opportunità in passato, i consigli dell’IA possono esacerbare le disuguaglianze, indipendentemente dal potenziale individuale.

Questo significa che dovremmo rinunciare alle raccomandazioni basate sui risultati e tornare al vecchio modo di fare le cose? Questa non è l’unica opzione. La conclusione principale è che non dovremmo più progettare i meccanismi di abbinamento (il processo di assegnazione dei posti scolastici agli studenti) e i sistemi di IA in modo isolato. Tradizionalmente, la progettazione e l'analisi dei sistemi di raccomandazione basati sull’IA sono affidate a chi si occupa di ingegneria e informatica, mentre l'ambito economico e gestionale cura i meccanismi di abbinamento. Tuttavia, operando in modo isolato, perdiamo di vista il ciclo di retroazione in cui azioni strategiche potrebbero mirare a modificare le previsioni dell’IA per ottenere abbinamenti futuri diversi.

Esistono soluzioni alternative . Ad esempio, possiamo mantenere una minore accuratezza nel nostro modello di previsione al fine di scoraggiare gli attacchi di interazione. In alternativa, possiamo scegliere meccanismi che consentano alle istituzioni di esprimere le loro vere preferenze senza vincoli e di tenerne conto. 

Risolvere il problema richiede una prospettiva più ampia

Attualmente sto studiando ulteriori interventi e ambiti di applicazione, con particolare attenzione all’equità sociale. In un progetto congiunto tra l’ETH di Zurigo e l’Università Tecnica di Eindhoven nei Paesi Bassi, in collaborazione con Kai Zhang, Sophia Lahrech, Florian Dörfler, Giulia de Pasquale e Valentina Breschi, stiamo esaminando il problema dell’assegnazione delle persone richiedenti asilo. In questo caso, il pianificatore sociale sceglie abbinamenti che massimizzano l’integrazione delle persone, come previsto dai modelli di IA. Tuttavia, i nostri risultati preliminari suggeriscono che le località a cui vengono abbinate le persone richiedenti asilopotrebbero manipolare il sistema utilizzando interazioni avverse che ne ritardano l’inserimento lavorativo – proprio come nell’esempio scolastico. 

Dal punto di vista degli interventi, abbiamo dimostrato che un pianificatore sociale potrebbe ridurre l’incentivo alle interazioni avversarie limitando la misura in cui un modello di IA può cambiare nel tempo. (Ciò è simile alla soluzione adottata nel contesto della scelta della scuola, che manteneva un certo rumore nelle previsioni dell’IA.)

Questi attacchi basati su interazioni antagonistiche sono un esempio di ciò che può andare storto quando sistemi tecnologici intricati vengono implementati all’interno di contesti sociali già di per sé complessi. Nella mia ricerca, mi propongo di integrare tale complessità sociale nel calcolo per favorire una migliore valutazione e progettazione dei sistemi. Utilizzo un linguaggio matematico per combinare più ambiti in un unico modello: non solo i sistemi tecnici (sviluppati nell’informatica), ma anche i comportamenti umani individuali e collettivi coinvolti (rilevabili in psicologia, sociologia ed economia), nonché le proprietà desiderate del sistema (formulate dall’etica, dalla filosofia e dal diritto). 

Unendo tutte queste prospettive, possiamo analizzare il sistema sociotecnico in modo olistico. È quindi possibile progettare sistemi che non solo ottimizzino l’efficienza a breve termine, ma tengano conto anche dell’equità sociale insieme ad altri obiettivi a lungo termine.

Per quanto riguarda le scuole, abbiamo quindi esteso i modelli di scelta scolastica ampiamente utilizzati in economia con una componente di intelligenza artificiale e abbiamo utilizzato l’analisi della teoria dei giochi per individuare gli attacchi di interazione. Abbiamo poi condotto un’indagine simile nel contesto delle richieste di asiloe ci siamo avvalsi di metodi di ottimizzazione e controllo per proporre sistemi di supporto decisionale più robusti.

Ma c’è ancora molto altro da approfondire. Man mano che i sistemi di IA vengono integrati in nuovi processi decisionali e si evolvono, emergono nuove vulnerabilità. Cosa accadrà nel mercato del lavoro man mano che ci affideremo sempre più a raccomandazioni automatizzate per la scelta del lavoro? Chi offre lavoro avrà un incentivo ad attaccare il sistema e, in tal caso, gli stessi interventi funzionerebbero? Queste domande rimangono aperte per il futuro. Ciò che questo lavoro ci ha dimostrato è che abbiamo bisogno di un’analisi multidisciplinare integrata per garantire che i sistemi di IA sostengano lo sviluppo sano della nostra società, non solo nel prossimo futuro, ma anche nel lungo periodo.