Versione originale: https://www.irpa.eu/verso-unanalisi-di-impatto-dellalgoritmo-a-proposito...
L’analisi di impatto degli algoritmi usati dalle amministrazioni pubbliche è oggi considerata uno degli strumenti volti a prevenire che le nuove tecnologie producano effetti negativi sui consociati. In un recente report dello European Law Insitute, vengono proposte delle model rules volte a disciplinare proprio questa tipologia di impact assessment.
L’uso delle nuove tecnologie da parte delle pubbliche amministrazioni rappresenta oggi più che mai una sfida ardua: non è un caso che negli ultimi anni si siano moltiplicate le iniziative volte a regolare questi fenomeni altamente complessi, con un diverso grado di incisività (ne abbiamo scritto QUI, QUI e QUI).
In questo filone, appare di notevole interesse la proposta di “Model Rules on Impact Assessment of Algorithmic Decision-Making Systems Used by Public Administration” elaborata dallo European Law Institute, accompagnata da un commento esplicativo a margine. Le model rules contengono la disciplina dell’analisi di impatto dell’algoritmo, uno strumento spesso considerato come particolarmente utile ad evitare che le tecnologie producano effetti negativi.
In realtà, il tema di un’analisi di impatto dell’algoritmo in un’ottica correttiva di conseguenze pregiudizievoli non è certo inedito. Oltre ad essere al centro del dibattito dottrinale d’oltreoceano, l’impact assessment è un aspetto fondamentale in molte regolamentazioni già approvate (si pensi alla Directive on Automated Decision-Making canadese, che costituisce per le model rules una sorta di “paradigma”) oppure in corso di discussione/approvazione come la Proposta di Regolamento UE “Legge sull’Intelligenza Artificiale”, con cui le model rules si “confrontano” spesso. Inoltre, sono altresì richiamati la Direttiva 2011/92/UE sulla valutazione d’impatto ambientale di determinati progetti pubblici e privati e il GDPR, nella parte in cui prevede il c.d. privacy impact assessment.
Ciò premesso, potremmo soffermarci sul modo in cui le model rules disciplinano l’impact assessment dell’algoritmo. Preliminarmente, bisogna osservare come, secondo un approccio ispirato alla proporzionalità, sono disposte delle esclusioni per alcune tipologie di sistemi (come, ad esempio, quelli usati in circostanze emergenziali). Al contempo, sono previste delle inclusioni obbligatorie, per i sistemi considerati ad alto rischio. Sul punto, le model rules demandano ai decisori pubblici competenti di indicare i sistemi ad alto rischio, suggerendo che tra questi vi possano essere il riconoscimento facciale, i sistemi degli enti previdenziali che assegnano benefici economici, quelli di polizia predittiva, quelli usati dall’ amministrazione finanziaria e per la gestione/manutenzione di infrastrutture critiche. Si tratta di un elenco che ricalca in parte quello della “Legge sull’intelligenza artificiale” (con alcune significative eccezioni, come ad esempio i sistemi usati dall’amministrazione finanziaria, che la Proposta di Regolamento UE non considera espressamente ad alto rischio). Peraltro, a ciò si ricollega la scelta operata nelle model rules di attivare uno screening preventivo del sistema, mediante la compilazione di un questionario, in modo da valutarne il potenziale rischio.
Sono poi minuziosamente elencati i requisiti per il corretto svolgimento dell’assessment c.d. “standard”: a tal fine, l’autorità individua il livello di approfondimento dell’analisi e prepara un report, che contiene informazioni molto dettagliate sul funzionamento del sistema, sul possibile impatto sui diritti fondamentali (come la privacy e la protezione dei dati personali, il diritto a non essere discriminati e a una buona amministrazione) e sulle misure da predisporre per minimizzare i rischi e massimizzare i benefici. Tale report si conclude con la determinazione del livello del rischio del sistema. Peraltro, vale la pena sottolineare come tutto il processo sia improntato alla trasparenza: sono infatti previsti obblighi di cooperazione/comunicazione con il fornitore del sistema per tutto il ciclo di vita di quest’ultimo. Ad ogni modo, per i sistemi ad alto rischio, sulla scia di quanto previsto anche dalla Proposta di Regolamento UE, sono previste ulteriori misure specifiche. Tra queste, figurano obblighi di protezione dei dati sensibili usati nell’assessment e di trasparenza quantomeno del codice sorgente e del dataset che alimenta il sistema. Al contempo, si fa ricorso a un meccanismo di audit del report, condotto da un expert board indipendente e seguito da una consultazione pubblica.
Tutti i sistemi (non solo, dunque, quelli considerati ad alto rischio) sono oggetto di monitoraggio e revisione nel tempo da parte della stessa amministrazione, con la possibilità per quest’ultima di ripetere l’analisi di impatto. Rilevante appare poi l’istituzione di una autorità amministrativa indipendente che, tra i molti compiti previsti, supervisioni la corretta applicazione delle model rules e svolga attività consultiva nei confronti dell’amministrazione che fa ricorso al “sistema algoritmico”. Da ultimo, è previsto che le persone fisiche con un interesse definito sufficient possano presentare reclamo all’autorità indipendente (che, al termine di un’istruttoria, potrebbe rivolgere alcune raccomandazioni all’amministrazione che fa uso del sistema, adire un giudice o, ancora, adottare un provvedimento inibitorio) oppure esperire la tutela giurisdizionale.
Alla luce di tali considerazioni, bisogna chiedersi se l’analisi di impatto dell’algoritmo possa considerarsi uno strumento efficace nel prevenire ogni possibile conseguenza negativa che possa incidere sui diritti fondamentali dei consociati. In realtà, la risposta è tutt’altro che semplice. Pertanto, è possibile prevedere ogni “distorsione” cagionata dai sistemi, compresi quelli ad alto rischio? O ancora, qualora l’analisi mettesse in luce una serie di rischi non accettabili, l’amministrazione dovrebbe decidere di rinunciare al sistema algoritmico? Di queste incertezze sembra prendere atto lo stesso gruppo di lavoro che ha elaborato le model rules, sottolineando come «the impact assessment is not a licensing procedure».
In conclusione, seppur in presenza di alcuni nodi da scogliere, le model rules rappresentano un buon punto di partenza per avviare un dibattito sul tema.
Maria Bianca Armiento
(m.armiento1@lumsa.it)
is a research fellow in “Administrative Law” and lecturer in “Public economic law” at Lumsa University. She is also a visiting fellow at the European University Institute.