di Enrico Bergamini

James Vacca, membro del New York City Council, l’organo legislativo della città, ha di recente proposto una legge che mira a rendere gli algoritmi utilizzati per le decisioni pubbliche più trasparenti. Il progetto ha suscitato un grande interesse – le consultazioni hanno fatto un record di presenze – e sta proseguendo nella procedura legislativa proprio in questi giorni, verso la firma del sindaco Bill de Blasio. Vale davvero il tempo di vedere la discussione.

New York utilizza diversi strumenti software per prendere decisioni, o comunque suggerirle, in campo di politiche pubbliche. L’utilizzo di tecnologie all’avanguardia è apprezzabile in chiave di efficienza, ma se non regolamentata può nascondere problemi insidiosi.

Vacca, nel suo discorso di apertura e di presentazione della legge, cita due esempi molto rilevanti. Il primo riguarda l’applicazione di un algoritmo per determinare i servizi di protezione dei vigili del fuoco e che ha avuto un ruolo anche per decidere il numero di poliziotti assegnati a diverse aree.

Nonostante Vacca sia un dirigente pubblico di alto livello da anni, spiega, non è stato capace di trovare una risposta a domande molto banali: quali sono i criteri dell’efficienza? Come viene presa la decisione? C’è una formula  – è l’unica spiegazione che gli viene data  – senza spiegazione in merito alle variabili considerate, e senza che i cittadini ne possano sapere niente.

Stessa cosa, racconta, succede quando un adolescente cerca di entrare alle scuole superiori che preferisce e viene assegnato alle sua sesta o settima scelta. Legittimamente, si chiede: «Perché non è possibile capire  – e quindi contestare  –questa decisione?».

Ci sono ovviamente molti altri utilizzi: dagli affidamenti delle case popolari alla giustizia. Nel caso degli algoritmi applicati nei tribunali, si sono già registrati e discussi diversi casi in cui la mancanza di trasparenza ha dato vita a controversie: Eric Loomis fu condannato a sei anni attraverso l’uso di un algoritmo proprietario che lo inquadrava come “propenso alla recidività”, senza potersi appellare.

Nel ramo del predictive policing, vengono sempre di più impiegati algoritmi che stimano il rischio che un individuo fugga o metta in pericolo qualcuno. Peccato, però, che spesso si nasconda in queste tecniche un bias razzista, come spiega molto bene ProPublica.

Chiaramente questi software vengono utilizzati per rispondere a problemi complessi, anche solo quantitativamente, con maggiore efficienza. Ma là dove sembrano esserci delle ingiustizie, sarebbe giusto poter trovare un perché.

L’importanza degli algoritmi nelle nostre vite di tutti i giorni sta crescendo, e lo farà sempre di più in futuro, ma ancora tende ad essere un discorso di nicchia, una discussione che manca. Ho già espresso le mie critiche, in termini di responsabilità, riguardo all’opacità degli algoritmi commerciali, che stanno tra il consumatore e la multinazionale (come nel caso di Facebook e Google). Ma nel momento in cui queste tecnologie vanno a curare il rapporto tra cittadino e amministrazioni pubbliche, quali sono le domande che dobbiamo farci? Come va regolato questo rapporto? Che responsabilità hanno i policymaker in termini di trasparenza e accountability?

Ora, so che può sembrare qualcosa di troppo lontano dalla realtà italiana per preoccuparsene, ma è meglio ricredersi. Per fare un esempio: Banca d’Italia, qualche settimana fa, ha pubblicato una ricerca che ristabiliva i destinatari dei famosi 80 euro del governo Renzi con tecniche di machine learning. Si tratta di uno studio, molto interessante, che tende a rendere più efficiente questa politica, profilando e individuando meglio chi ha diritto a ricevere il bonus, e chi no, capendo chi sono le famiglie più bisognose. La stima è che il 29% della spesa totale (circa 2 miliardi di euro l’anno) sia stata indirizzata a famiglie che non erano un bersaglio ideale.

Chi è il soggetto ideale della manovra? Chi ha la più alta propensione al consumo, in base ai dati ISEE, in una politica che mirava proprio a stimolare i consumi.

La tecnica usata è quella degli alberi decisionali, e  –  apprezzabilmente  –  c’è già una preoccupazione degli autori per la trasparenza e la comunicabilità del processo.

Tornando a New York e alla proposta di James Vacca, bisogna dire che il problema non è solo rilevante, è anche complesso sotto tanti punti di vista: tecnologico in primis, ma anche legislativo, economico, etico, di sicurezza.

Gli algoritmi sono spesso forniti da terze parti che mai condividerebbero il codice. Il rapporto tra fornitori e amministrazioni pubbliche è ovviamente commerciale e quindi basato sulla vendita di software proprietario: un processo che, però, esclude i cittadini dall’accesso alla conoscenza dei dati usati come input, dei metodi e quindi dalla possibilità di appellarsi alle decisioni.

Ed è fondamentale che i cittadini abbiano questo accesso, perché, come è chiaro da tempo, non esistono algoritmi neutri. Vacca riassume questa idea in una frase che trovo molto efficace: «Gli algoritmi sono un modo di codificare delle assunzioni».

Ma il discorso è ancora più sottile, perché l’opacità non è solo frutto dell’interesse privato: gli algoritmi sono per natura un oggetto complesso per la maggior parte delle persone. Se però riteniamo che il diritto alla conoscenza, in termini di decisioni pubbliche, sia qualcosa da proteggere è necessario fare qualcosa.

Ma come farlo? È un problema mica da ridere: trasparenza non significa solo pubblicare qualche migliaio di righe di codice. Sarebbe già qualcosa, certo, perché permetterebbe ad hacker e giornalisti di lavorarci. Ma il vero cambiamento è l’accessibilità al processo decisionale, alla razionalità dietro le assunzioni di cui sopra. Innanzitutto, il codice va documentato, l’open source senza documentazione non è necessariamente trasparente.

Tra le proposte fatte nella discussione ci sono, ad esempio, sistemi di simulazione in cui il cittadino possa capire in base a cosa cambiano gli output. Parlando di dati, emerge un altro lato affascinante del problema: l’ideale è la trasparenza, ma sull’altro ago della bilancia c’è la privacy. Come muoversi?

Nel panel interviene anche un informatico a rappresentare il mondo open source, che spiega come le tecnologie aperte non solo possano migliorare l’accountability, ma anche il livello di sicurezza. In un mondo post-Equifax, è ben evidente la necessità di avere ben chiari i rapporti tra terze parti e pubbliche amministrazioni, quando dati sensibili (e quindi le vite) di milioni di cittadini dipendono da strutture informatiche opache o vulnerabili.

Credo si possa fare un forte parallelismo con la discussione sul Freedom of Information Act, che risponde alla pressione di rendere i dati pubblici: deve coinvolgere non solo esperti di tecnologia, giuristi e tecnici governativi, ma anche giornalisti, attivisti e cittadini.

Non esiste una risposta semplice, ma se vogliamo costruire una democrazia partecipativa e aperta, pensando a cosa vorrà dire ‘governo’ nell’era dell’informazione, credo valga la pena di occuparsene.

Leggi anche >> Algoritmi, intelligenza artificiale, profilazione dei dati: cosa rischiamo davvero come cittadini?

Immagine in anteprima via pixabay.com