venerdì, 03 dicembre 2021

La giustizia chiede piena conoscibilità e trasparenza agli algoritmi e all’intelligenza artificiale: il caso dei trasferimenti dei docenti

Consiglio di Stato VI sezione, sentenza 13.12.2019 n. 8472

 

1. La procedura informatizzata può snellire e velocizzare l'iter procedurale amministrativo, nel rispetto del principio del buon andamento ex art.97 Costituzione.


La Sesta Sezione del Consiglio di Stato, con la recente sentenza n.8472 del 13 dicembre 2019, è stata chiamata a decidere ( in sede di appello, proposto dal Ministero dell'Istruzione) il caso relativo alla contestazione dell'esito di una procedura amministrativa la quale, svolta sulla base di un algoritmo non conosciuto e che non avrebbe correttamente funzionato, ha disposto i trasferimenti di diversi docenti ( immessi in ruolo nella c.d. "fase C" del piano straordinario assunzionale di cui alla legge n.107 del 2015) senza tener conto delle preferenze espresse, pur in presenza di posti disponibili nelle province indicate, addirittura alcuni docenti sarebbero stati trasferiti in province più lontane da quella di propria residenza o quella comunque scelta con priorità in sede di partecipazione alla procedura, benché in tali province di elezione fossero disponibili svariati posti.

E' noto che anche la pubblica amministrazione è stata interessata dalla c.d. rivoluzione 4.0 che consente di affidare il procedimento di formazione della decisione amministrativa ad un software, nel quale vengono immessi una serie di dati così da giungere, attraverso l'automazione della procedura, alla decisione finale.

L'attività digitalizzata in questione risulta di evidente utilità in riferimento a tutte quelle procedure amministrative seriali o standardizzate, come quella qui in esame, che implicano l'elaborazione di ingenti quantità di istanze e che sono caratterizzate dall'acquisizione di dati certi ed oggettivamente comprovabili nonché dall'assenza di ogni apprezzamento discrezionale.

Come si evince dalla sentenza in esame, queste procedure informatizzate sono ammesse nell'ambito della pubblica amministrazione in conformità dei canoni di efficienza ed economicità dell'azione amministrativa ( art.1 legge n.241 del 1990) i quali, nel rispetto del principio costituzionale del buon andamento dell'azione amministrativa ( art.97 Costituzione), impongono all'amministrazione pubblica il conseguimento dei propri fini con il minor dispendio di mezzi e risorse a attraverso lo snellimento e l'accelerazione dell'iter procedimentale, soprattutto quando la procedura informatizzata è in grado di ridurre notevolmente i tempi per operazioni meramente ripetitive e prive di discrezionalità. Ma non basta rispettare il principio del buon andamento dell'azione amministrativa, le procedure automatizzate e gli algoritmi utilizzati, devono fare i conti anche con il principio di trasparenza tanto caro alla procedura amministrativa.


2. Conoscibilità e trasparenza degli algoritmi.

Nella sentenza in esame, il giudice evidenzia come le procedure informatizzate non possano essere motivo di elusione dei principi che stanno alla base del nostro ordinamento democratico e che regolano, come nella fattispecie qui in esame, il corretto svolgersi dell'attività pubblica amministrativa.

Più precisamente, il ricorso al cd "algoritmo", va correttamente inquadrato in termini di modulo organizzativo e cioè una sorta di strumento procedimentale ed istruttorio soggetto, pertanto, alle verifiche tipiche di ogni procedimento amministrativo, il quale resta il modus operandi della scelta autoritativa, da svolgersi sulla scorta della legislazione attributiva del potere e delle finalità dalla stessa attribuite all'organo pubblico che è titolare del potere, un potere necessario al perseguimento del pubblico interesse.

Ma, premessa la generale ammissibilità delle procedure informatizzate e, pertanto, degli stessi algoritmi, il giudice amministrativo riporta l'attenzione su due aspetti preminenti, peraltro di rilievo sovranazionale, intesi come elementi di minima garanzia per ogni ipotesi di utilizzo di algoritmi in sede decisoria pubblica:

- in prima battuta, occorre garantire la piena conoscibilità a monte del modulo utilizzato e dei criteri applicati;

- in secondo luogo è necessaria l'imputabilità della decisione all'organo titolare del potere, il quale deve poter svolgere la necessaria verifica di logicità e legittimità della scelta e degli esiti affidati all'algoritmo.

Il Consiglio di Stato, nella sentenza qui in esame, sotto il profilo della piena conoscibilità dei criteri applicati dalla procedura informatizzata, mette in risalto il generale, quanto fondamentale, principio della trasparenza che va intesa sia per quanto concerne la pubblica amministrazione titolare del potere per il cui esercizio viene previsto il ricorso allo strumento dell'algoritmo, sia per i soggetti incisi e coinvolti da detto potere.

In particolare, il giudice amministrativo osserva come il meccanismo attraverso il quale si concretizza la decisione robotizzata ( ovvero l'algoritmo) debba essere conoscibile, secondo una declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico.

Questa conoscibilità dell'algoritmo, deve essere garantita in tutti i suoi molteplici aspetti, quali i suoi autori, il procedimento usato per la sua elaborazione, il meccanismo di decisione, le priorità assegnate nella procedura valutativa e decisionale nonché i dati effettivamente selezionati come rilevanti e determinanti; l'obiettivo è quello di verificare che i criteri, i presupposti e gli esiti del procedimento robotizzato siano effettivamente conformi alle prescrizioni e alle finalità stabilite dalla legge o dalla stessa amministrazione a monte di tale procedimento e affinché siano chiare ­ e quindi anche sindacabili ­ le modalità e le regole in base alle quali esso è stato impostato.

I giudici del Consiglio di Stato fanno riferimento a quella che è stata definita la " caratterizzazione multidisciplinare" dell'algoritmo in quanto questo ultimo è una costruzione che non richiede solo competenze giuridiche ma tecniche, informatiche, statistiche e amministrative e alla necessità che la "formula tecnica" che di fatto rappresenta l'algoritmo, sia corredata da opportune spiegazioni che la traducano nella "regola giuridica" ad essa sottesa e che la rendano agevolmente leggibile e comprensibile e, conseguentemente, conoscibile e sindacabile dai soggetti interessati.

La conoscibilità e la sindacabilità dell'algoritmo e più in generale il principio della necessarietà della trasparenza della procedura amministrativa, peraltro, prevalgono sulla riservatezza eventualmente invocata dalle imprese produttrici dei meccanismi informatici utilizzati. 3. Il Regolamento europeo n.679 del 2016 e la gestione dei dati della procedura amministrativa informatizzata.

Con riferimento ai soggetti coinvolti nella procedura amministrativa, nella sentenza qui in esame , i giudici amministrativi rilevano quelli che possono essere le criticità in ordine alla gestione dei relativi dati precisando che, nelle attività di trattamento dei dati personali, possono essere individuate due differenti tipologie di processi decisionali automatizzati, da una parte quelli che contemplano un coinvolgimento umano e dall'altra quelli che affidano al solo algoritmo l'intero procedimento.

In riferimento a questa seconda tipologia di procedimento, ad integrazione della disciplina di cui alla Direttiva 95/46/CE, il Regolamento europeo n.679 del 2016 ha come obiettivo quello di arginare il rischio di trattamenti discriminatori per l'individuo che trovino la propria origine in una cieca fiducia nell'utilizzo degli algoritmi.

Con il sopra richiamato Regolamento, il legislatore europeo ha voluto rafforzare il principio di trasparenza e gli articoli 13 e 14 stabiliscono che nell'informativa rivolta all'interessato venga data notizia dell'eventuale esecuzione di un processo decisionale automatizzato, sia che la raccolta dei dati venga effettuata direttamente presso l'interessato sia che venga compiuta in via indiretta.

Quado il processo è interamente automatizzato senza alcun intervento dell'uomo, il titolare di tale procedura informatizzata deve fornire " informazioni significative sulla logica utilizzata, nonché l'importanza e le conseguenze previste di tale trattamento per l'interessato".

Sotto il profilo del diritto di accesso, l'art.15 del Regolamento europeo prevede la possibilità di ricevere informazioni relative all'esistenza di eventuali processi decisionali automatizzati, a tutela dell'interesse conoscitivo della persona che è soggetta alla procedura amministrativa, un diritto di accesso che è azionabile sia quando il trattamento dei dati sia già stato iniziato, sia quando sia in esecuzione o, addirittura, abbia già determinato una decisione amministrativa.

Per quanto concerne l'effettiva verifica degli esiti della procedura automatizzata e della relativa imputabilità, il giudice amministrativo evidenzia la necessità di essere garantita la verifica a valle in termini di logicità e di correttezza degli esiti, ciò anche a garanzia dell'imputabilità della scelta al titolare del potere autoritativo, individuato in base al principio di legalità, nonché della verifica circa la conseguente individuazione del soggetto responsabile, sia nell'interesse della stessa pubblica amministrazione che dei soggetti coinvolti ed incisi dall'azione amministrativa affidata all'algoritmo.

L'art.22, comma 1, del Regolamento europeo riconosce alla persona il diritto di non essere sottoposta a decisioni automatizzate prive di un coinvolgimento umano e che, allo stesso tempo, producano effetti giuridici o incidano in modo analogo sull'individuo; deve essere sempre possibile individuare un centro di imputazione e di responsabilità, che sia in grado di verificare la legittimità e logicità della decisione dettata dall'algoritmo. 4. La Carta della Robotica approvata dal Parlamento Europeo.

Per quanto concerne l'imputabilità, la Carta della Robotica che è stata approvata nel febbraio 2017 dal Parlamento Europeo, prevede che l'autonomia di un robot " può essere definita come la capacità di prendere decisioni e metterle in atto nel mondo esterno, indipendentemente da un controllo o un'influenza esterna "

Ed ancora, la Carta della Robotica stabilisce che detta autonomia del robot è di natura puramente tecnologica ed il suo livello "dipende dal grado di complessità con cui è stata progettata l'interazione di un robot con l'ambiente"; qualora un robot sia in grado di prendere decisioni autonome, si legge nella Carta in questione, le norme tradizionali non sono sufficienti per attivare la responsabilità per i danni causati da un robot, " in quanto non consentirebbero di determinare qual è il soggetto cui incombe la responsabilità del risarcimento né di esigere da tale soggetto la riparazione dei danni causati".

Da tutto ciò si rileva quanto sia fondamentale, anche al fine di applicare le norme generali e tradizionali in tema di imputabilità e responsabilità, garantire la riferibilità della decisione finale all'autorità ed all'organo competente in base alla legge attributiva del potere.

Nella sentenza amministrativa qui in esame, il giudice accenna un richiamo anche al diritto sovranazionale, evidenziando i tre principi chiave che è fondamentale tenere in debita considerazione nell'esame e nell'utilizzo degli strumenti informatici: il principio di conoscibilità, il principio di non esclusività della decisione algoritmica ed il principio di non discriminazione algoritmica.



a) Il principio di conoscibilità e di comprensibilità dell'algoritmo.

Partendo dal principio di conoscibilità, questo si basa sul fatto che ognuno ha diritto a conoscere l'esistenza di processi decisionali automatizzati che lo riguardino, oltre al diritto di ricevere precise informazioni sulla logica utilizzata; detto principio è applicabile sia a decisioni prese da soggetti pubblici che da soggetti privati.

In riferimento alla fattispecie qui esaminata e relativa ad una decisione presa da una pubblica amministrazione, la norma del Regolamento, come osserva il giudice amministrativo, costituisce diretta applicazione specifica dell'art.42 della Carta Europea dei Diritti Fondamentali ( " Right to a good administration "), laddove afferma che quando la Pubblica Amministrazione intende adottare una decisione che può avere effetti avversi ( a tal proposito si veda la cd etica delle conseguenze che spesso viene richiamata negli studi e nelle ricerche sull'intelligenza artificiale) su di una persona, essa ha l'obbligo di sentirla prima di agire, di consentirle l'accesso ai suoi archivi e documenti ed, infine, ha l'obbligo di comunicare le ragioni della propria decisione.

La pubblica amministrazione che tratta i dati in maniera automatizzata, ha il dovere di porre l'interessato a conoscenza anche dei meccanismi che sono in grado di decifrare la logica dell'algoritmo utilizzato, quindi il principio di conoscibilità deve essere integrato dal principio di comprensibilità e cioè del diritto a ricevere informazioni significative sulla logica utilizzata. 

b) Il principio di non esclusività della decisione algoritmica

In una discussa sentenza del 2016 la Corte Suprema del Wisconsin (State o Wisconsin v. Eric L. Loomis, 13 Luglio 2016) si è pronunciata sull'appello del sig. Eric L. Loomis, la cui pena a sei anni di reclusione era stata comminata dal Tribunale circondariale di La Crosse. Nel determinare la pena, i giudici avevano tenuto conto dei risultati elaborati dal programma COMPAS (Correctional offender management profiling for alternative sanctions) di proprietà della società Northpointe (ora Equivant), secondo cui Loomis era da identificarsi quale soggetto ad alto rischio di recidiva.

La Corte Suprema, dopo aver stabilito che l'uso di COMPAS può essere legittimo nell'ambito dei giudizi di determinazione della pena, ha indicato i limiti e le cautele che devono accompagnare tale impiego da parte degli organi giudicanti. Si è infatti stabilito che tali software possono essere considerati fattori rilevanti in questioni quali:

1) la comminazione di misure alternative alla detenzione per gli individui a basso rischio di recidiva; 
2) la valutazione della possibilità di controllare un criminale in modo sicuro all'interno della società, anche con l'affidamento in prova; 
3) l'imposizione di termini e condizioni per la libertà vigilata, la supervisione e per le eventuali sanzioni alle violazioni delle regole previste dai regimi alternativi alla detenzione.

Ribadendo la necessità che il giudice applichi i risultati COMPAS facendo esercizio della propria discrezionalità sulla base del bilanciamento con altri fattori, la Corte ha confermato che l'uso dello strumento non può riguardare il grado di severità della pena sulla base di circostanze attenuanti od aggravanti, né la decisione sull'incarcerazione dell'imputato. Ha specificato infatti che lo scopo di COMPAS è quello di individuare le esigenze del soggetto che deve scontare la pena e di valutare il rischio di reiterazione del reato.

Sulla scorta delle limitazioni enucleate, i giudici supremi hanno concluso che nel caso di specie il punteggio di rischio è stato solo uno dei numerosi fattori considerati dal tribunale nel determinare la pena, fattori che Loomis non aveva contestato. La Corte ha osservato che, sebbene si fosse fatto riferimento ai risultati COMPAS nel determinare la pena, i giudici avevano attribuito al fattore di rischio un peso minimo, affermando addirittura che la sentenza non sarebbe stata diversa in assenza dei dati forniti dallo strumento.

Ritornando al caso in esame, anche sotto il profilo dei procedimenti amministrativi deve essere ribadito il principio di non esclusività della decisione algoritmica e, come si evince dall'art.22 del Regolamento europeo, nel caso in cui una decisione automatizzata produca effetti giuridici che riguardano ( o che incidano) significativamente su una persona, questa ha il diritto a che tale decisione non sia basata unicamente su tale processo automatizzato.

Quindi, nel processo decisionale deve comunque esistere un contributo umano capace di controllare, validare ovvero smentire la decisione automatica: nel gergo tecnico, il modello matematico-informativo viene definito come HITL ( human in the loop), in cui, per produrre il suo risultato, è necessario che la macchina interagisca con l'essere umano.


c) Il principio di non discriminazione algoritmica. 

Dal Considerando n.71 del Regolamento del 2016 si evince anche il fondamentale principio di non discriminazione algoritmica in base al quale è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, mettendo in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali, secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell'interessato e che impedisca, tra l'altro, effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell'origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell'appartenenza sindacale, dello status genetico, dello stato di salute o dell'orientamento sessuale, ovvero che comportano misure aventi tali effetti.

Ed infatti, in tale contesto, anche se siamo davanti ad un algoritmo conoscibile e comprensibile, non costituente l'unica motivazione della decisione, occorre che lo stesso non assuma carattere discriminatorio.

Come evidenziato dal Considerando n.71, sarebbe necessario rettificare i danti in ingresso per evitare effetti discriminatori nell'output decisionale ma, per fare questa operazione, è indispensabile la cooperazione di chi istruisce le macchine che producono tali decisioni.

Così afferma il giudice amministrativo nella sentenza qui in esame, evidenziando che, nella fattispecie, l'algoritmo non risulta essere stato utilizzato in termini conformi ai principi sopra descritti; in particolare, si chiede detto giudice, non si comprende per quale ragione le legittime aspettative di docenti, collocati in una determinata posizione in graduatoria, siano andate deluse



5. L'utilizzo dell'algoritmo non è stato conforme ai principi di trasparenza e di conoscibilità e le legittime aspettative dei docenti sono andate deluse.

Il giudice amministrativo della fase di appello, nella sentenza qui in esame, evidenzia che, nella fattispecie, l'algoritmo non risulta essere stato utilizzato in termini conformi ai principi sopra descritti; in particolare, si chiede lo stesso giudice, non si comprende per quale ragione le legittime aspettative di docenti, collocati in una determinata posizione in graduatoria, siano andate deluse.

Gli scenari orwelliani richiamati dal giudice di primo grado, devono essere considerati con estrema cautela in quanto " la materia merita un approccio non emotivo ma capace di delineare un nuovo equilibrio, nel lavoro, fra uomo e macchina, differenziato per ogni campo di attività " ( così si legge nella sentenza di appello qui in esame), tenendo in considerazione la circostanza ­ non irrilevante ­ che quando è stata concepita la legge sul procedimento amministrativo, la pubblica amministrazione non era stata investita della rivoluzione tecnologico-digitale.

Ed infatti, il tema dei pericoli connessi allo strumento ( cioè l'algoritmo applicato nella procedura automatizzata), non è ovviato dalla rigida e meccanica applicazione di tutte le regole procedimentali di cui alla legge n.241 del 1990 ( come la comunicazione di avvio del procedimento sulla quale si basa buona parte dell'atto di appello proposto dalla pubblica amministrazione qui interessata, nonché il responsabile del procedimento che, con tutta evidenza, non può essere una macchina in assenza di disposizioni espresse).

Il giudice amministrativo dell'appello, conclude affermando che "la fondamentale esigenza di tutela posta dall'utilizzazione dello strumento informatico c.d. algoritmico sia la trasparenza nei termini prima evidenziati riconducibili al principio di motivazione e/o giustificazione della decisione".

La pubblica amministrazione non può limitarsi a postulare una coincidenza tra la legalità e le operazioni algoritmiche in quanto, tale coincidenza, " deve essere sempre provata e illustrata sul piano tecnico, quantomeno chiarendo le circostanze prima citate, ossia le istruzioni impartite e le modalità di funzionamento delle operazioni informatiche se ed in quanto ricostruibili sul piano effettuale perché dipendenti dalla preventiva, eventualmente contemporanea o successiva azione umana di impostazione e/o controllo dello strumento".

L'impossibilità di comprendere le effettive modalità con le quali, attraverso l'algoritmo qui contestato, siano stati assegnati i posti disponibili per i docenti ammessi in graduatoria, costituisce di per sé un vizio tale da inficiare l'intera procedura amministrativa in quanto il metodo utilizzato deve ritenersi carente sotto il profilo della trasparenza dello stesso, con conseguente illegittima disattesa delle aspettative dei docenti.



6. Conclusioni

La sentenza qui in esame mette in piena evidenza la contrapposizione ( ed il conseguente bisogno di bilanciamento) tra il principio di economia e di buon andamento della pubblica amministrazione e l'altrettanto fondamentale principio di trasparenza che deve caratterizzare ogni singolo atto e passaggio delle procedure amministrative, a maggior ragione quando queste procedure sono automatizzate attraverso l'ausilio degli algoritmi e dell'intelligenza artificiale.

Il rapporto tra uomo e macchina, da sempre, costituisce un antico dilemma, non sempre risolvibile, soprattutto quando emergono ( ma, spesso, rimangono sullo sfondo !) le inevitabili opacità delle procedura matematico-informatizzate che ruotano attorno ai modelli degli algoritmi, opacità che si riflettono ( negativamente) sull'effettiva conoscibilità e comprensibilità dell'algoritmo stesso utilizzato per rendere più snelle e più veloci le procedure, anche nell'ambito pubblico amministrativo qui considerato.

Attorno a questi temi che vanno a toccare il mondo dell'intelligenza artificiale e degli algoritmi di ultima generazione, ci sono altre decisioni in arrivo: la giustizia inizia ad interfacciarsi . ma anche a confrontarsi in maniera schietta - con la repentina evoluzione tecnologica e con la scienza digitale, affinché le decisioni dei robot e la c.d. intelligenza artificiale non prevalgano ­ in maniera indiscriminata e non trasparente ­ sull'uomo, con tutto ciò che ne consegue. Avv. Valter Marchetti

Avv. Valter Marchetti

Foro di Imperia, avvvaltermarchetti@live.it

(Valter Marchetti)

Invia per email

LaPrevidenza.it, 24/03/2021

VALTER MARCHETTI
mini sito

Viale Matteotti 89, 18100, Imperia (IM)

Telefono:

3498844331

Cellulare:

3498844331

Professione:

Avvocato

Aree di attività:

Penale e Civile. Responsabilità medico-sanitaria. Infortunistica stradale, navale, ferroviaria ed aerea. Responsabi...

SIMONE CIAPPINI
mini sito

Via Perleoni 8, 47922, Rimini (RN)

Telefono:

0541775084

Cellulare:

3289446960

Professione:

Avvocato

Aree di attività:

DIRITTO CIVILE - DIRITTO DEL LAVORO - DIRITTO PREVIDENZIALE ED ASSISTENZIALE