Attenti al giudice robot

L’intelligenza artificiale – Ai sta guadagnando sempre più spazio nelle nostre vite. Dal tempo libero al lavoro, le macchine paiono onnipresenti; ultimamente l’utilizzo di questi strumenti inizia a essere applicato in alcuni Paesi del mondo – come gli Stati Uniti – anche per amministrare la giustizia e per tentare di prevedere i crimini prima che accadano. Questa possibilità non è ancora entrata nell’ordinamento italiano. E non dovrebbe mai entrarci, secondo molti esperti, tra cui Daniela Tafani, ricercatrice di filosofia politica all’Università di Pisa, che sabato scorso è intervenuta su questo tema al Festival del Pensare contemporaneo di Piacenza. Un intervento che ha colpito il folto uditorio, nel cortile della Fondazione Piacenza e Vigevano. L’abbiamo incontrata per approfondire.

Professoressa, qual è stato il cuore del suo intervento a Piacenza?

Abbiamo parlato della possibilità di utilizzare sistemi di intelligenza artificiale in ambito giudiziario. Questo, però, può significare due cose molto diverse tra loro: se si usa l’informatica in senso tradizionale – quindi con programmi scritti da una persona, che possono essere controllati e il cui esito è sempre passibile di una spiegazione – non c’è dibattito. Se un sistema è trasparente non lo si discute, al massimo si possono discutere le variabili e i pesi che si stanno attribuendo loro. Quando oggi parliamo di intelligenza artificiale, però, utilizziamo il termine «machine learning», che è antropomorfo e fuorviante. Si tratta di sistemi statistici che non apprendono e hanno la caratteristica di non essere trasparenti. Partono da un’enorme quantità di dati, estorti e presi in blocco da ciascuno di noi e trovano delle correlazioni; alcune di queste sono rilevanti, altre non hanno alcun nesso causale. Utilizzare questi strumenti in ambito giudiziario può avere delle conseguenze pesantissime.

Cioè?

Le vediamo già in altri abiti, quando banche o assicurazioni li utilizzano per concedere o negare un prestito. Può accaderle che un prestito le sia negato perché beve la stessa marca di birra di una persona insolvente. Le decisioni fondate su questi sistemi sono assolutamente arbitrarie. E hanno anche un’altra caratteristica, emersa negli Stati Uniti. Ormai da più di un decennio là si usano strumenti predittivi a supporto delle decisioni dei giudici, per aiutarli a stimare il tasso di recidiva di un imputato e decidere se concedergli o meno la libertà. Si è visto che utilizzando l’Ai le persone trattenute erano quelle più povere e di colore. Questo non è strano: basta pensare alla natura statistica del sistema. Gli imputati che in passato sono stati trattenuti con maggiore frequenza erano le persone povere e di colore. Questi sistemi replicano e automatizzano le disuguaglianze del passato. E noi non ce ne accorgiamo; visto che non sono trasparenti, ci danno l’impressione che la decisione sia supportata dalla matematica, dall’algoritmo. Un’altra caratteristica di questi strumenti è che producono quello che tendono a prevedere.

Sapere cosa farà un individuo è possibile solo se ci convinciamo che ha lo stesso statuto degli oggetti: come so quando scadrà il litro di latte che ho in frigo, così dico di sapere cosa farà un imputato se lo libero.

Daniela Tafani

In che senso?

È un meccanismo caratteristico di tutte le profezie, tendono ad autoavverarsi. C’è un caso celebre negli Stati Uniti. La polizia si è presentata un giorno a casa di un signore, ha suonato il campanello e ha detto che l’algoritmo predittivo aveva previsto che quell’uomo sarebbe stato coinvolto in un conflitto a fuoco nei sei mesi seguenti, nel ruolo di vittima o di sparatore. Hanno iniziato a sorvegliarlo giorno e notte, a interrogare il suo datore di lavoro, a parlare coi vicini. Dopo un po’, visto che la persona – com’è ovvio, visto che l’algoritmo lavorava su statistiche – viveva in un quartiere dove c’era molto disagio sociale, gli abitanti del vicinato si sono convinti che si trattasse di un informatore della polizia e gli hanno sparato. Così gli agenti hanno potuto dire che la previsione si era avverata, ma in realtà la situazione era stata influenzata pesantemente. In questo modo si snaturano anche le statistiche, che non ci parlano del singolo individuo, ma dell’individuo medio. Non possono prevedere il futuro di una persona: questa è magia e astrologia, un mix tra matematica avanzata e superstizione. Sapere cosa farà un individuo è possibile solo se ci convinciamo che ha lo stesso statuto degli oggetti: come so quando scadrà il litro di latte che ho in frigo, così dico di sapere cosa farà un imputato se lo libero. Così, però, non gli attribuisco alcuna capacità di agire o di scegliere, non riconosco la sua natura di soggetto giuridico

Che impatto ha questo sul nostro impianto giuridico?

Lo snaturerebbe completamente. Non succederà perché, come sostenevano a Piacenza il magistrato e l’avvocato e come mi auguro, l’intelligenza artificiale in Italia non verrà utilizzata per amministrare la giustizia. Non è compatibile con la distinzione tra persone e cose.

Sulla carenza dell’intelligenza artificiale utilizzata per classificare le persone, c’è un famoso esempio che riguarda Amazon.

È un esempio classico. L’azienda ha avviato una procedura di reclutamento di ingegneri pensando di poterla condurre sulla base di un sistema di machine learning. È emerso che veniva assegnato un punteggio negativo alle donne per il solo fatto che erano donne. Anche togliendo le variabili di genere, venivano comunque scartate, perché si chiamavano Jane e non Mark o Tom o perché non avevano giocato nella squadra di football. C’è stato un tentativo di correggere il sistema, ma poi è stato chiuso: le discriminazioni erano ineliminabili. Noi ci rendiamo conto di quelle più evidenti, perché le fanno anche gli esseri umani, in base al genere di appartenenza o al colore della pelle, ma in realtà ci sono anche correlazioni prive di senso. Si può essere selezionati o scartati perché si guida una macchina rossa o perché si naviga su un sito piuttosto che su un altro. Questi sistemi non hanno accesso al significato, tracciano tutte le correlazioni e costitutivamente discriminano, perché si basano sulla statistica e hanno due principi: l’idea che ciò che è accaduto in passato accadrà anche in futuro e l’omofilia. Se si è inseriti in un raggruppamento di persone, se c’è qualcosa che piace a un certo numero di individui all’interno del gruppo, si suppone piaccia a tutti.

Cosa succede quindi in ambito giudiziario?

Se si osserva un certo tasso di criminalità in un certo raggruppamento si suppone che tutti gli individui che ne fanno parte commetteranno più o meno la stessa percentuale di crimini. È chiaro che un conto è fare statistiche e ragionarci sopra, un conto è tenere le persone in prigione. Passare dall’aspetto descrittivo – che è il massimo che le Ai possono fare, tra l’altro con molti limiti – a quello prescrittivo può avere conseguenze molto gravi. Ci sono delle conseguenze già quando nei motori di ricerca si introduce il completamento automatico. C’è stata una campagna delle Nazioni unite, che hanno realizzato dei cartelloni in cui si vedevano i risultati di alcune stringhe di ricerca. Digitando «Le donne devono» i completamenti automatici erano «stare zitte», «stare in casa», «avere meno diritti», «stare in cucina» e così via. Addirittura scrivendo «Bambine» compariva «senza vestiti».

Perché allora questi sistemi vengono utilizzati lo stesso?

Perché ci sono grandi aziende che in questo momento hanno concentrazione di potere e molti profitti da essi, che vengono promossi insieme a strumenti molto più specifici, che invece funzionano e costituiscono genuino progresso, come i traduttori automatici, la classificazione corretta delle immagini e i sistemi di visione. Si tratta di sistemi che lavorano sfruttando un’enorme potenza computazionale, moltissimi dati e tanto lavoro umano mal retribuito, ai limiti della schiavitù, energia e terre rare. Sono elementi che di solito vengono lasciati in ombra; si tende a dire che l’intelligenza artificiale è aerea, rarefatta, non materiale. Se si digita «Ai» su un motore di ricerca appaiono numeri e letterine che fluttuano nel blu, non data center che consumano tutta l’acqua in zone in cui si soffre per la siccità. Si parla di mettere i dati nel cloud come se stessero al sicuro su una nuvola, mentre il cloud è un computer a casa di un’altra persona o in un’azienda.

La tecnologia è effettivamente un progresso e l’apprendimento automatico ha davvero consentito di fare cose che non eravamo in grado di fare prima. Ma questo non vuol dire che sia magia

Daniela Tafani

L’intelligenza artificiale è quindi da buttare?

No, il punto è che quando nel 2010 le grandi aziende che avevano già un modello di business basato sulla sorveglianza, quindi sulla raccolta dati, hanno visto i genuini progressi che vanno riconosciuti, hanno pensato: «Se ho uno strumento così nuovo e scintillante che produce testo, perché non dire che lo capisce anche, così vendo assistenti mentali artificiali, compagni artificiali, chatbot di tutti i generi? Se ho un sistema che riconosce un individuo per strada sulla base di un’immagine, perché non dire che è in grado di riconoscere un buon lavoratore o un futuro delinquente?». Così hanno aumentato l’ambito di applicazione di questi strumenti e allo stesso tempo hanno tenuto saldo il modello di business basato sulla sorveglianza. Vendono agli inserzionisti una profilazione algoritmica, vendono la promessa di sapere cosa noi faremo e cosa ci piacerà, anche se non è detto che lo sappiano sul serio. Bisogna abbandonare la mentalità magica: le intelligenze artificiali non sono soggetti antropologici che capiscono e prevedono, sono statistiche automatizzate molto potenti, non possono predire il futuro o distinguere il vero dal falso. Un balocco come Chat gpt può produrre stringhe di testo plausibili, ma può farlo basandosi sul lavoro di centinaia di persone in Kenya che per tutto il giorno tutti i giorni devono leggere descrizioni di torture, stupri, pedopornografia per etichettarle e far sì che il sistema le riconosca. Bisognerebbe costruire una banca dati pulita invece di «pescare a strascico» su internet, obbligando le persone a non dormire la notte, perché chiudono gli occhi e rivedono immagini o pensano alla descrizione di cose tremende. La tecnologia è effettivamente un progresso e l’apprendimento automatico ha davvero consentito di fare cose che non eravamo in grado di fare prima. Ma questo non vuol dire che sia magia.

Foto in apertura di Geralt da Pixabay