Intelligenza artificiale: progettiamo in un’ottica di genere

Nell’intelligenza artificiale «noi ricercatori dobbiamo cercare di adottare, definire, mettere a disposizione delle tecniche che aiutino a capire le discriminazioni di genere, imponendo che sia una pratica di progettazione». A parlare è Fosca Giannotti, professoressa di Informatica alla Scuola normale superiore di Pisa, esperta di Ai. «Un problema in questo ambito è che abbiamo una presenza di donne, che progettano, studiano e fanno ricerca, molto sbilanciata».

Giannotti, l’Ai ormai influenza la società. Quale ruolo possiamo avere nel renderla più giusta?

L’intelligenza artificiale serve per ottimizzare servizi digitali che sono ormai in tutti gli aspetti della nostra società: dal search fino alle transazioni bancarie. E lo fa imparando dai dati che sono sempre più disponibili. Dobbiamo occuparci di disegnare bene il servizio. Il disegno, affinché sia ben fatto e sia responsabile, deve tener conto delle potenzialità di apprendimento dei dati che ha l’Ai, degli eventuali errori e dei livelli di incertezza che, in questo apprendimento di tipo statistico e probabilistico, si possono avere.

Si impara da dati contenuti che sono prodotti dalla nostra società. Possono essere molto controllati all’interno di organizzazioni, oppure possono essere open air nel web. In fase di disegno di servizi basati sull’Ai che usano questi dati dobbiamo fissare tutta una serie di requisiti che vogliamo che questi servizi possiedano. Uno di questi è che siano non discriminatori verso alcune cose.

Come gli algoritmi possono perpetuare stereotipi e discriminazioni, dal linguaggio dei chatbot fino ai sistemi di selezione del personale automatizzata?

Siccome i contenuti che sono sul web sono lo specchio della nostra società, è vero che questi contenuti sono gender bias. Per come funziona l’apprendimento (che poi è molto simile a quello umano) dell’Ai da dati su cui c’è uno stereotipo o un pregiudizio, se non mettiamo dei correttori ad un bias, l’intelligenza artificiale non solo lo apprende e ritiene che sia giusto, ma lo amplifica e lo riproduce. E questo, sui pregiudizi di genere, è molto evidente.

Può farci qualche esempio di discriminazione di genere?

Le donne sono sempre associate a figure che ripercorrono gli stereotipi che abbiamo messo nei contenuti sul web. Ad esempio, se noi chiediamo al sistema una nursery, propone sempre delle figure femminili, invece se chiediamo un doctor dà delle figure maschili. Il chatbot cerca i contenuti più probabili per rispondere ad una domanda e i contributi più probabili sono quelli maggiori. Quindi, ripropone questi bias che sono presenti nei contenuti dei dati.

Il gender è uno degli elementi più evidenti, però ci sono anche discriminazioni di altro tipo. Pensiamo che i contenuti che sono a disposizione sono generati dal nord del mondo, c’è una sottorappresentazione di razze, di etnie, di culture che nei suggerimenti, nella produzione di risultati di ricerca, non saranno rappresentati. Quindi, ripeto, per quanto riguarda la discriminazione che fa l’Ai, amplifica e riproduce quello che trova. Per noi computer scientists, questo è un problema ben noto, che si studia da tanti anni. Il tema della discriminazione può esserci anche nel database che abbiamo, ad esempio nelle assunzioni, nei sistemi per fare job matching tra quelli che possono essere i profili desiderati dall’azienda e quelli dei candidati.

Ci spieghi meglio.

Se pensiamo di fare un sistema di recruitment sul database, utilizzando lo storico di un’azienda che ha sempre assunto maschi, difficilmente impareremo ad assumere anche femmine. Se un database ha sempre assunto degli afroamericani, difficilmente assumerà asiatici. Perché è un sistema che impara dagli esempi che ci sono, non è in grado di fare delle estrapolazioni, dei ragionamenti. Quello che noi ricercatori cerchiamo di fare è adottare, definire, mettere a disposizione delle tecniche che aiutino a capire le discriminazioni di genere, imponendo che sia una pratica di progettazione.

Il verbo «imponendo» non è usato a caso…

Non è usato a caso. Dico “imponendo” perché l’attenzione verso comportamenti che potrebbero essere anche dannosi per le scelte sulle persone, sono state poi recepite anche dall’Ai Act, la normativa che è appena entrata in vigore, che regola le caratteristiche che devono soddisfare i servizi basati sull’intelligenza artificiale, che sono messi in opera in Europa. Il tema della discriminazione è un tema fondamentale e lo è, soprattutto, per servizi che sono considerati ad alto rischio, quelli in cui si prendono delle decisioni sulle persone.

È chiaro che se uso un servizio di intelligenza artificiale per capire che tipo di pianta ho davanti, un errore dell’Ai non fa lo stesso potenziale danno rispetto alla definizione del rischio di dare o no un mutuo: una scelta che poi può avere un impatto nella vita di una persona. Per l’aspetto del gender c’è un altro tipo di problema.

Quale?

C’è un problema di sensibilità che si può verificare, in fase di progettazione, quando abbiamo dei team che sono poco bilanciati come gender. Si rischia che ci sia poca attenzione verso alcuni aspetti, come ad esempio gli stereotipi di genere.

E questo è un problema nell’Ai perché abbiamo una presenza di donne che sono in questo ambito, che progettano, studiano e fanno ricerca, molto sbilanciata. Questo accade un po’ in tutte le discipline Stem: siamo molto poco rappresentate e, quindi, la sensibilità che porta la diversità può venir meno. Questo è accaduto nella progettazione di tantissime tecnologie: dalle cinture per le auto che sono spesso pensate per gli uomini alla medicina di genere.

C’è un problema di sensibilità che si può verificare, in fase di progettazione, quando abbiamo dei team che sono poco bilanciati come gender

Bisogna considerare quest’altra dimensione, che non è dovuta all’intelligenza artificiale. È un tema che è importante, per chiamare le ragazze ad avvicinarsi ad una tecnologia che in qualche modo sta riprogettando la società. Non può non esserci una parte molto importante della società a contribuire con la sua sensibilità e diversità a questa progettazione della società del futuro.

Quali sono le strategie per rendere l’intelligenza artificiale più inclusiva e quali le sfide ancora aperte per una tecnologia veramente equa?

Noi progettiamo un servizio che si basa sull’Ai, che può avere dei livelli di incertezza, che sono i dati da cui apprende: deve essere fatto lo sforzo per capire quali sono le caratteristiche di questi dati rispetto alle potenziali discriminazioni. Ci sono delle tecniche per farlo, ci sono un’ampia ricerca e le tecnologie a disposizione. A volte i bias possono essere indiretti, difficili da trovare.

Però ci sono anche quelli facili da trovare, che passano attraverso una progettazione sul training set. Indubbiamente si richiede uno sforzo maggiore a chi progetta un servizio basato sull’intelligenza artificiale. Le cose sono complicate quando disegniamo dei processi di Ai che sono basati su cose che non controlliamo completamente, come può essere ad esempio ChatGpt.

Se uso un servizio di intelligenza artificiale per capire che tipo di pianta ho davanti, un errore dell’Ai non fa lo stesso potenziale danno rispetto alla definizione del rischio di dare o no un mutuo: una scelta che poi può avere un impatto nella vita di una persona

In questi casi, cosa si può fare?

Se voglio disegnare una cosa basata sui risultati di ChatGpt, non ho il controllo di come sono fatti i dati di questa chatbot: è la discussione che c’è in questo momento per aggiornare gli Ai Act. Non è detto che chi progetta il servizio abbia tutto sotto controllo, perché magari c’è il provider del sistema del Large language model che non dà i dati. Quando si usano i linguaggi che stanno dietro a ChatGpt, Gemini o altro di questo tipo bisogna stare attenti, mettere ulteriori stress test per avere buone garanzie.

Foto in apertura di Batu Gezer su Unsplash. Nell’articolo foto dell’intervistata