«We need AI to deal with increasing levels of complexity and difficulty. With an analogy, we need to remember that the best chess player is neither a human nor a computer, but a human using a computer»
L. Floridi, Robots, Jobs, Taxes, and Responsibilities, Philosophy and Technology 30 (3) 14 March 2017, 2
***
1. Premessa. Lo stato dell’arte dell’uso dell’Intelligenza artificiale nei sistemi penali
Si stima che il mercato dell’intelligenza artificiale debba raggiungere entro il 2025 il valore di 190,61 miliardi di dollari con un tasso annuo costante di crescita del 36, 62% [1].
E se lo stesso è agli albori in Italia, con una spesa per lo sviluppo di algoritmi di intelligenza artificiale di appena 85 milioni di euro nel 2018 [2], la Cina si sta preparando a diventare entro il 2030 il leader mondiale, predisponendo a questo fine un programma di investimenti interni per 150 miliardi di dollari [3].
Basterebbero tali dati per documentare l’irresistibile ascesa del mercato dei sistemi di Intelligenza artificiale e per ricavarne facili previsioni sullo sviluppo delle possibilità ad essa connesse e delle implicazioni di ordine economico, etico e socio-antropologico che ne potranno derivare, non ultimo nel settore della giustizia penale.
Ma cos’è l’intelligenza artificiale?
Il sito web del Consiglio d'Europa [4] ne fornisce la seguente definizione: «Un insieme di scienze, teorie e tecniche il cui scopo è quello di riprodurre, attraverso la macchina, le capacità cognitive di un essere umano. Gli sviluppi attuali mirano, ad esempio, ad affidare a una macchina compiti complessi precedentemente delegati a un essere umano».
Sulla stessa falsariga la definizione offerta dall’Università di Stanford [5] che la identifica come «una scienza e un insieme di tecniche computazionali che vengono ispirate – pur operando tipicamente in maniera diversa – dal modo in cui gli esseri umani utilizzano il proprio sistema nervoso e il proprio corpo per sentire, imparare, ragionare e agire».
Nel complesso, dunque, le applicazioni fondate su sistemi di Intelligenza artificiale tendono, attraverso meccanismi di autoapprendimento, all’imitazione delle attività umane, sostituendole o ad esse affiancandosi, in ciò sfruttando le potenzialità operative infinitamente superiori.
Peraltro, la nozione di Intelligenza artificiale non è affatto unitaria, dal momento che si suole distinguere le diverse applicazioni distinguendo tra le Intelligenze artificiali deboli (weak) - in grado di estrarre schemi complessi e apprendere da grandi volumi di dati in modo efficiente e spesso con elevati livelli di precisione predittiva - da quelle forti (strong) che si differenziano per aver come obiettivo ultimo (ancora del tutto teorico) una macchina di autoapprendimento in grado di comprendere automaticamente il mondo in tutta la sua complessità.
Dunque, nel fare riferimento a sistemi di intelligenza artificiale, si deve escludere allo stato qualsiasi potenziale riferimento a macchine in grado di sostituire l’attività umana nella sua proteiforme varietà.
Nonostante il crescente interesse per l'impiego dei sistemi di Intelligenza artificiale nel settore della giustizia, non si dispone ancora di un quadro analitico ed aggiornato delle esperienze in materia e delle possibili direttrici di sviluppo.
Il principale strumento informativo per esaustività e autorevolezza è costituito dalla Carta Etica sull’uso dell’Intelligenza Artificiale nei Sistemi giudiziari europei e nei relativi ambienti (di cui si dirà in seguito) elaborata dalla Commissione Europea per l’Efficienza della Giustizia (CEPEJ) e adottata il 4 e 5 dicembre 2018 che, oltre ad enunciare cinque principi generali, è corredato da quattro Appendici, una delle quali, la I, contiene uno studio approfondito delle modalità di impiego dell’Intelligenza artificiale nei sistemi giudiziari europei.
Prescindendo dall’aspetto deontico rappresentato da una gradazione (da incoraggiare, da utilizzare con alcune precauzioni, da rimandare a seguito di approfondimenti scientifici, da valutare con estrema cautela) riferita allo stadio di compatibilità con i cinque principi fissati, l’elencazione appare tuttavia di particolare interesse per coglierne le concreto potenzialità applicative, ovviamente con riferimento al settore penale, e le relative controindicazioni.
a) utilizzo da incoraggiare
- Miglioramento nel reperimento della giurisprudenza attraverso tecniche di apprendimento automatico migliorativo delle banche dati esistenti;
- Creazione di nuovi strumenti strategici per migliorare la performance del singolo ufficio giudiziario (ad esempio, stabilire i tempi di definizione dei procedimenti, assicurare l’ottimale utilizzo delle risorse, elaborare proiezioni).
b) utilizzo possibile, con precauzioni di metodo
- utilizzo di algoritmi a fini di prevenzione della consumazione di reati (polizia predittiva) o, in caso di indagini già avviate, per l’identificazione dei responsabili. In questi casi i sistemi di apprendimento automatico possono essere impiegati sia dalla polizia giudiziaria che dal pubblico ministero ad esempio per l’analisi di dati relativi a flussi finanziari in indagini in materia di riciclaggio; i profili di rischio sono legati a possibili effetti discriminatori;
- tools in materia di giustizia predittiva (in campo civile) finalizzati a valutare le possibilità di successo di una controversia e orientare la parte in causa verso un altro metodo di risoluzione delle controversie;
- piattaforme di risoluzione online di controversie seriali e di contenuto valore (small claims), definite in modo completamente automatizzato, a condizione che entrambe le parti siano informate e che a ciascuna sia riservata la possibilità di adire un giudice.
c) utilizzo da rivedere a seguito di ulteriori studi ed approfondimenti
- sistemi di giustizia predittiva: si tratta dell’utilizzo di machine learning [differenti da quelli indicati sub b) perché, a differenza di questi, di natura commerciale, costituiscono strumenti di tendenzialmente conformativi dell’attività del giudice o di ausilio a questi] per prevedere l’esito di una controversia sulla base dell’analisi dei dati ricavati dai precedenti o fornire comunque dati di conoscenza sul contenuto della possibile decisione. Tali sistemi si fondano in genere sull’acquisizione e sul trattamento di una notevole mole di dati raccolti dalle sentenze, dalla dottrina o dalla prassi (metadati), sulla ricerca di correlazioni tra i lemmi per attribuire un senso compiuto alle parole ed infine sulla elaborazione delle variabili del caso e la scelta finale. Qui il trattamento statistico dei soli gruppi lessicali rivela la frequenza dell'uso di determinati gruppi di parole ma non identifica i motivi reali di una decisione, né si sostituisce al complesso ragionamento giuridico [6]; non va, inoltre, sottaciuto che i sistemi fondati sulla costruzione di modelli matematici che dovrebbero rappresentare la vasta gamma in cui si può manifestare il ragionamento giuridico non si sono rivelati pienamente efficienti perché ancora limitati dalla possibilità di distorsione nel campione di dati elaborati [7];
- Judge profiling, vale a dire l’analisi della produzione giudiziale o per esaminare o prevedere i comportamenti e gli atteggiamenti personali e quindi ricavare elementi di predizione per la definizione delle controversie future;
d) utilizzo da valutare con estrema cautela
- algoritmi predittivi del rischio di ricaduta nel reato.
2. Intelligenza artificiale e giudizio. Il quadro normativo
2.1. La Carta Etica Europea
2.1.1. Fissate queste prime sommarie coordinate applicative, si deve rilevare che l’ingresso dell’Intelligenza artificiale nel sistema giudiziario italiano non costituisce materia esclusivamente affidata al futuribile ma ha già trovato un primo quadro di riferimento normativo.
Si tratta per la verità di disposizioni senza dubbio eterogenee, nelle quali si rinvengono norme di diritto positivo, forme di soft law e mere raccomandazioni di esperti, ma che tuttavia costituiscono un primo corpus con funzioni di orientamento e regolazione sia delle policies pubbliche che dell’attività degli stakeholders coinvolti e si agglutinano attorno ad un nucleo di principi già sufficientemente delineati nella prospettiva di tutela dei diritti fondamentali, per quanto le soluzioni proposte non sempre siano in grado di sciogliere tutti i nodi complessi di una realtà dall’impatto oggettivamente non ancora del tutto prevedibile.
Il riconoscimento della crescente importanza dei sistemi di Intelligenza artificiale e la necessità di fornire un quadro di regole che ne governino un proficuo e consapevole utilizzo nei sistemi giudiziari è all’origine dell’adozione, il 4 e il 5 dicembre 2018, da parte della Commissione Europea per l’efficienza della giustizia (CEPEJ) della Carta Etica europea per l’uso dell’intelligenza artificiale nei sistemi giudiziari e nei loro ambienti [8].
La Carta fornisce un quadro di principi che debbono guidare i responsabili politici, i legislatori e i professionisti della giustizia quando si trovano ad affrontare il rapido sviluppo dell'Intelligenza Artificiale nei processi giudiziari nazionali e costituisce l’espressione di un primo indirizzo regolatore che va letto e inquadrato nell’ambito più vasto del sistema di garanzie costituito dalla CEDU e dalla normativa generale sul trattamento dei dati personali (GDPR).
Dunque un intervento di soft law [9] che si caratterizza tuttavia per il fatto di rivolgersi a tutti gli stakeholders (dai produttori, agli sviluppatori dei programmi, ai responsabili delle public policies e, non ultimo a coloro che sono coinvolti nei procedimenti giudiziari) nella prospettiva di promuovere un approccio comune e multidisciplinare che trascenda la mera regolazione della domanda ed offerta di mercato dei sistemi intelligenti applicati alla giustizia.
La Carta si compone di 5 principi ed è corredata da quattro importanti Appendici (la I, contenente uno studio approfondito dello stato dell’arte e delle problematiche aperte sull'uso dell’ Intelligenza artificiale nei sistemi giudiziari, la II contenente una griglia sui possibili utilizzi dell’IA nei sistemi giudiziari, la III che reca un glossario, la IV una checklist di autovalutazione della compatibilità dei modelli di utilizzo con i principi recati dalla Carta), che rappresentano la summa ragionata dello stato dell’arte dell’Intelligenza artificiale nei sistemi giudiziari europei.
2.2.1. Il primo principio enunciato (art. 1) è quello del rispetto dei diritti fondamentali, secondo il quale il trattamento di decisioni e dati giudiziari deve avere scopi chiari, nel pieno rispetto dei diritti fondamentali garantiti dalla Convezione Europea sui Diritti dell’Uomo (in particolare il § 6 e il § 8) e dalla Convenzione sulla protezione dei dati personali [10].
L’obiettivo viene assicurato allorquando l’utilizzo di strumenti di Intelligenza artificiale sia per risolvere una controversia sia come strumento di assistenza nel processo decisionale giudiziario non compromette le garanzie del diritto di accesso al giudice e il diritto al fair trial, declinato nel principio di uguaglianza delle armi e del rispetto del contraddittorio.
Inoltre, il principio implica che il loro utilizzo debba aver luogo nel rispetto dei principi dello Stato di diritto e dell'indipendenza ed autonomia del giudice.
Di particolare rilievo la previsione che estende la portata del principio del rispetto dei diritti umani sin dal momento della progettazione dell’algoritmo applicativo (human right by design) che deve quindi conformarsi di default al rispetto di tali principi ( e di quello di non discriminazione, di cui si tratterà poco oltre) [11].
Nella stessa direzione si muovono le Linee Guida intergovernative sulle politiche relative all'Intelligenza artificiale, siglate a Parigi il 22 maggio 2019 dal Consiglio dell’OCSE che raccomandano il rispetto dello stato di diritto, dei diritti umani e dei valori democratici in tutto il ciclo di vita del sistema di Intelligenza artificiale e che includono libertà, dignità e autonomia, protezione dei dati, non discriminazione uguaglianza, diversità, equità, giustizia sociale e lavoro.
2.2.2. Il secondo principio è quello di non discriminazione.
Gli studi sull’esperienza, maturata nei sistemi di Common law e principalmente negli Stati Uniti, del ricorso a sistemi di valutazione automatizzata di predizione del rischio di recidiva (risk assessment tools) hanno, come noto, rilevato la possibilità che il loro impiego non adeguatamente controllato inneschi l’introduzione di pregiudizi di ordine razziale o comunque relativi all’appartenenza a determinati contesti.
È il caso, ormai assurto a paradigma, Loomis nel quale l’utilizzo di uno specifico tool, il COMPAS aveva sollevato forti critiche in merito alla possibilità che le valutazioni di rischio finali (vale a dire le probabilità di incorrere in futuri reati, strettamente collegate alla determinazione della pena da scontare o alla possibilità di fruire di benefici penitenziari) risultassero condizionate in senso discriminatorio [12].
Il rischio del possibile impiego di algoritmi incidenti sul principio di non discriminazione è del resto fatto palese dall’analisi dello studio dei sistemi di giustizia predittiva contenuto nella I Appendice (punto 133), laddove si richiama la costante attenzione per l’impatto che tali tools sono in grado di dispiegare sui diritti di libertà individuale nell’ambito della giurisdizione penale.
Così fissate le coordinate di riferimento il principio di non discriminazione finisce per costituire espressa specificazione del principio di tutela dei diritti fondamentali, e sollecita uno sforzo comune per la corretta implementazione dei big data disponibili (input), in modo da evitare che l’output sia condizionato in senso discriminatorio [13].
2.2.3. Il terzo principio (art. 3) è quello della qualità e sicurezza dei dati, ovviamente giudiziari o strumentali all’attività giudiziaria.
L’ambito di riferimento, in particolare è quello dell’impiego di open data in vista dell’impiego in sistemi di giustizia predittiva o di ausilio all’attività giudiziaria. Si è detto che i dati costituiscono il nuovo petrolio (Andrew Keen), sia per le enormi quantità disponibili, sia per il profitto che il loro possesso è suscettibile di generare. Di qui l’estrema attenzione riservata alle modalità della loro raccolta ed elaborazione.
L’Appendice I affronta in modo dettagliato il panorama dei rapporti tra open data e intelligenza artificiale, muovendo da precisazioni terminologiche che sottolineano la necessaria distinzione tra open data, big data e informazioni.
Gli Open data rimandano ad una realtà digitale disseminata di dati accessibili al pubblico e fruibili come tali [14], mentre i Big data esprimono la crescente capacità tecnologica di raccogliere, elaborare ed estrarre conoscenze nuove e predittive da grandi volumi, velocità e varietà di dati, anche all’insaputa dell’interessato.
Infine le informazioni, che sono dati inclusi in un determinato contesto [15].
Il principio impone in particolare una rimeditazione delle open data policies, in specie delle modalità di raccolta del documento informativo costituito dalle pronunce giurisdizionali in vista della loro elaborazione in dati [16].
Difatti, come è stato chiarito «i dati resi disponibili per via della digitalizzazione non sono di per sé alcuna cosa se non sono prima strutturati in architetture organizzate ed intelligenti, e, in seconda battuta, analizzati avendo in mente domande, correlazioni, punti focali»; ciò perché «gli algoritmi non analizzano atti, analizzano la trascrizione in codici dei contenuti digitali di questi atti» [17].
Da qui la necessità, avvertita dalla Carta, di promuovere forme di approccio multidisciplinare in grado di garantire l’apporto delle professionalità coinvolte e di aprire il dialogo tra operatori giudiziari e delle scienze sociali e gli sviluppatori di sistemi.
L’approccio metodologico coglie solo una parte della realtà, dal momento che vengono inevitabilmente in rilievo anche le modalità di raccolta del dato giudiziario.
Ciò è perfettamente colto dalla Carta Etica che non solo si sofferma a fornire indicazioni atte ad impedire il rischio di identificazione delle parti o a temperare il judge profiling (Appendice I punti 43 e ss.), ma soprattutto si interroga sulle ricadute sui modi di esercizio della giurisdizione nei paesi di Civil law.
Pur condividendo l’idea di fondo che la predittività delle decisioni giudiziarie affidata ad un sistema di Intelligenza artificiale possa costituire fattore di razionalizzazione dell’accesso alla giustizia, il documento considera ineludibili alcuni caveat: ad esempio i big data acquisiti saranno in grado di riflettere la distinzione tra giudizi di grado diverso o il precedente avrà rilievo soltanto in termini quantitativi? sarà dato un valore quantitativo (standard) di precedenti identici raggiunto il quale all'elaborazione della macchina potrà essere riconosciuto valore paranormativo? e quale sarà il rapporto tra norma e giurisdizione? muterà la grammatica della decisione giudiziaria in vista della sua elaborazione algoritmica ?
2.2.4. Il quarto principio è quello della trasparenza, imparzialità ed equità (fairness).
Qui la Carta affronta il core business del problema dell’impiego dell’Intelligenza artificiale nei sistemi giudiziari.
Sebbene meno avvertito di quanto accada negli Stati Uniti [18] – anche per l’assenza di mature esperienze applicative – il problema del rapporto tra la tutela dei diritti di proprietà intellettuale e brevettuali dello sviluppatore e del proprietario dell’algoritmo e quella del diritto alla sua intelligibilità da parte di colui che è interessato alla sua applicazione assume, anche in Europa, attenzione sempre maggiore, specialmente - come di avrà modo di constatare - sul terreno della prova.
La Carta suggerisce un approccio cauto fondato sul bilanciamento dei due interessi potenzialmente confliggenti, fatto salvo il riconoscimento del primato degli interessi di giustizia quando vengono utilizzati strumenti che potrebbero influenzare in modo significativo la vita delle persone, come accade appunto in materia penale.
Di qui l’auspicio della completa trasparenza dei codici sorgente e della documentazione sulla quale si fondano, la chiara e completa descrizione del loro funzionamento e soprattutto, sul piano del metodo, la creazione di Autorità indipendenti incaricate di verificare e certificare i metodi di elaborazione nella misura in cui assicurino effettivamente il rispetto di tali principi [19].
Sulla stessa falsariga le Linee Guida OCSE, che raccomandano trasparenza e leggibilità (explanability) nel prevedere da parte di tutti gli attori l’obbligo di fornire informazioni significative, adeguate al contesto e coerenti con lo stato dell'arte; di favorire una comprensione generale dei sistemi di Intelligenza artificiale, di consentire agli interessati di comprendere il risultato dei sistemi di Intelligenza artificiale e di contestarne i risultati in modo chiaro sulla base di informazioni di facile comprensione sui fattori e sulla logica che governa la decisione.
2.2.5. Il quinto e ultimo principio è quello del controllo da parte dell’utente (under user control).
Si tratta di un principio dalle molteplici implicazioni in relazione alla categoria di utente alla quale si rivolge (giudice, professionista, destinatario della decisione).
Nella sua accezione più ampia il principio mira ad assicurare una generale alfabetizzazione informatica del pubblico in merito alle decisioni fondate sull’intelligenza artificiale, agendo così come criterio informatore dell’azione dei consociati nel senso di una maggiore autonomia e consapevolezza delle opportunità e dei rischi legati all’utilizzo dell’Intelligenza artificiale.
Nello specifico il controllo dell’utente (qui intendendosi verosimilmente il potenziale destinatario di una decisione fondata su sistemi di intelligenza artificiale) si arricchisce del diritto di essere informato sulla vincolatività o meno delle soluzioni offerte dagli strumenti di Intelligenza artificiale, dell’eventuale esistenza di precedenti su di essi fondati e di contestare tale possibilità, chiedendo di essere ascoltato da un giudice, ciò che avvicina la possibilità di un giudizio mediante tools diIntelligenza artificiale ad un giudizio su base prettamente volontaria (ed informata).
Infine, quanto ai professionisti del sistema giudiziario, la raccomandazione, facendosi probabilmente carico dei rischi di una temuta dittatura del precedente, investe la definizione dei limiti di vincolatività del precedente automatizzato, nel senso di garantire la libertà di rivedere una precedente decisione automatizzata [20].
3.1. La disciplina normativa del processo decisionale automatizzato. L’art. 22 del GDPR
3.1.1. Il secondo livello di disposizioni normative, questa volta di diritto positivo è costituito in particolare dall’art. 22 del Regolamento UE 2016-679 del Parlamento europeo e del Consiglio del 27 aprile 2016, relativo alla protezione delle persone fisiche (GDPR) con riguardo al trattamento dei dati personali, nonché' alla libera circolazione di tali dati [21].
Il dato normativo, per gli effetti che interessano strettamente in questa sede, è completato dalle Linee guida WP 251 del 3 ottobre 2017 (emendata il 6 febbraio 2018) sul processo decisionale automatizzato relativo alle persone fisiche e sulla profilazione elaborate dal Comitato Europeo per la protezione dei dati personali (Working Party art. 29) [22].
Nell’ambito della predisposizione di una tutela rafforzata della protezione dei dati personali, in conseguenza del riconoscimento della stessa come diritto fondamentale della persona [23], muovendo dal più ampio contesto di riferimento costituito dalla diffusione progressiva del ricorso a procedure automatizzate implicanti l’utilizzo di dati personali nei più diversi settori (dall’accesso al credito, ai servizi, alla pubblicità), il legislatore ha inteso disciplinare le condizioni alle quali è consentita l’assunzione di una decisione fondata unicamente sul trattamento automatizzato di dati e informazioni.
La disposizione [24] esordisce stabilendo (c. 1) in via generale il diritto dell’interessato a non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona [25].
Dunque, nel momento stesso in cui stabilisce il divieto, il legislatore europeo fissa anche le condizioni al cui ricorrere è consentita la decisione interamente automatizzata, aprendo di fatto la via a forme di giustizia dai contorni ancora da definire.
L’oggetto materiale della disposizione normativa è la decisione automatizzata – nozione da intendersi in senso lato e dunque comprensiva delle statuizioni giurisdizionali – fondata su elaborazioni algoritmiche di dati, anche mediante profilazione [26] produttiva di effetti giuridici, che non sia accompagnata dall’effettivo intervento umano nel processo istruttorio e valutativo, ancorché la decisione possa essere adottata formalmente dall’uomo [27].
Le Linee Guida, sul punto, approdano opportunamente ad un approccio rigoroso, prevenendo possibili aggiramenti dei divieti in presenza di interventi umani meramente simbolici e non sostanziali. Di conseguenza, un procedimento nel quale l’intervento umano, pur presente nel processo decisionale, fosse puramente apparente, non potrebbe sfuggire al divieto condizionato di adozione di una decisione automatizzata.
Il testo del Regolamento non chiarisce espressamente né la nozione di effetti giuridici, in ogni caso piuttosto familiare all’interprete né, soprattutto quella di effetto analogo a quello giudico, incidente in modo significativo sulla persona.
Sul punto intervengono le Linee Guida che identificano l’effetto analogo in ogni conseguenza indiretta e di riflesso rispetto all’oggetto principale della decisione [28].
Il divieto non opera al ricorrere delle seguenti tre eccezioni, vale a dire quando la decisione integralmente automatizzata a) è necessaria per la conclusione o l’esecuzione di un contratto; b) è autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, che deve adottare altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato [29]; c) si basa sul consenso esplicito dell’interessato.
Si tratta di ipotesi del tutto distinte e che si fondano su presupposti applicativi del tutto differenti e disomogenei: mentre quelle sub a) e c) costituiscono due differenti declinazioni del principio di disponibilità della sottoposizione a decisione automatizzata, quello sub b) prescinde dal consenso dell’interessato e si basa su una determinazione pubblica, oggetto di riserva di legge.
In ogni caso, la concreta praticabilità delle ipotesi che fanno eccezione al divieto di adozione di una decisione interamente automatizzata è subordinata all’adozione, da parte del titolare del trattamento [o nel caso sub b), dello stesso ordinamento statale] di misure appropriate volte alla tutela dei diritti, libertà ed interessi della persona coinvolta: in particolare, la norma prevede un livello minimo di tutela consistente («almeno») nel diritto di ottenere l’intervento umano del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione.
Infine, l’art. 22 c. 4 vieta il processo decisionale automatizzato che utilizzi dati personali sensibili enunciati nell’art. 9 par. 1, eccettuata l’ipotesi in cui l’interessato abbia manifestato il proprio consenso [art. 9 par. 2 lett. a)], ovvero in cui il trattamento sia necessario per motivi di interesse pubblico rilevante sulla base del diritto dell'Unione o degli Stati membri, e proporzionato alla finalità perseguita, rispetti l'essenza del diritto alla protezione dei dati e preveda misure appropriate e specifiche per tutelare i diritti fondamentali e gli interessi dell'interessato.
Tra i diritti riconosciuti all’interessato a fronte di una decisione interamente automatizzata adottata nelle ipotesi previste in deroga non è espressamente compreso il diritto all’informazione sul funzionamento del procedimento decisionale ed in particolare sull’algoritmo utilizzato nella specie.
Soltanto il Considerando 71 affronta in modo tangenziale l’argomento, richiamando il diritto dell’interessato ad una «specifica informazione».
Si tratta di un punto cruciale, soprattutto - come si vedrà - per il settore penale.
Difatti, in un sistema globalmente caratterizzato dalla presenza sempre più pervasiva di grandi piattaforme che controllano in modo opaco e apparentemente inaccessibile enormi flussi di dati – la c.d. black box society [30] – il mancato riconoscimento del diritto alla leggibilità dei processi decisionali degli algoritmi che presiedono all’adozione della decisione interamente automatizzata rischia di rendere del tutto apparente l’effettività del sistema di diritti, ivi compreso quello di contestare la decisione.
Difatti, una decisione di cui non è conoscibile il processo formativo, difficilmente può essere utilmente contestata da parte di chi la subisce.
Il fatto è, però, che la configurabilità nel sistema del GDPR di un diritto alla spiegazione del funzionamento dei processi algoritmici che presiedono alle decisioni automatizzate non è affatto incontroversa [31], sia per l’assenza di una specifica indicazione positiva (essendo noto che ai Considerando non viene attribuito valore interpretativo vincolante), sia per la concorrente esigenza di riconoscere protezione e tutela ad interessi di altra natura quali la proprietà intellettuale o, più in generale, ai diritti di sfruttamento economico [32].
Non va, poi, trascurato, che la disciplina delle decisioni automatizzate è integrata dal successivo art. 23 che introduce la possibilità per gli stati membri di limitare la portata dei diritti, se tale misura sia proporzionata e necessaria per salvaguardare, ad esempio «un rilevante interesse economico o finanziario dell'Unione o di uno Stato membro» [c. 1, lett. e)].
Secondo un’altra prospettiva, tuttavia, il tema si presenta più articolato perché dovrebbe imporre una necessaria distinzione tra diritto alla leggibilità ex ante dell’algoritmo – vale a dire su come è impostato l’algoritmo - e diritto alla spiegazione ex post, ossia sul modo in cui l’algoritmo ha prodotto la decisione [33].
Si è messo in evidenza che il sistema normativo previsto dal GDPR contiene una serie di dati sistemici [artt. 13 c. 2 lett. f), 14 c. 2 lett. g), 15 c. 1 lett. h)] che sembrano assicurare il diritto del destinatario della decisione a disporre di “informazioni significative sulla logica utilizzata” nel procedimento decisionale automatizzato, quindi di avere accesso all’architettura dell’algoritmo, mentre ciò che potrebbe formare oggetto di limitazione per effetto del bilanciamento della tutela degli interessi commerciali sarebbe il diritto a risalire alla singola decisione [34].
È quasi superfluo rilevare che dal prevalere dell’una o dell’altra opzione interpretativa dipenderà in misura non irrilevante l’evoluzione applicativa delle decisioni automatizzate e il loro impatto sui diritti fondamentali.
Vale la pena rilevare che il tema dell’accesso alle modalità di funzionamento dell’algoritmo che sviluppa le decisioni automatizzate è più attuale di quanto sembri, essendosi già affacciato nella giurisprudenza amministrativa.
Si è trattato, in particolare, dell’impugnazione di un provvedimento di assunzione di docenti di scuola superiore di secondo grado adottato al termine di una procedura interamente gestita da un sistema informatico per mezzo di un algoritmo (il cui funzionamento sarebbe rimasto sconosciuto) sfociata in provvedimenti ritenuti privi di alcuna motivazione, e quindi oggetto di impugnativa.
Il Consiglio di Stato – con sentenza 8 aprile 2019 n. 2270 [35] – ha accolto l’appello annullando il provvedimento.
Pur senza richiamare, quantomeno espressamente, la disciplina dell’art. 22 del GDPR ed i limiti in esso previsti, l’organo di giustizia amministrativa muove dall’indiscutibile rilievo dell’utilità di modalità operative automatizzate «con riferimento a procedure seriali o standardizzate, implicanti l’elaborazione di ingenti quantità di istanze e caratterizzate dall’acquisizione di dati certi ed oggettivamente comprovabili e dall’assenza di ogni apprezzamento discrezionale», del tutto coerenti con i principi di economicità ed efficienza dell’azione amministrativa.
Fissa tuttavia alcuni principi che rendono legittimo il provvedimento integralmente automatizzato tra i quali quello della «conoscibilità» del meccanismo che presiede alla decisione automatizzata, «secondo una declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico» e che si estende agli autori, al procedimento usato per la sua elaborazione, al meccanismo di decisione, comprensivo delle priorità assegnate nella procedura valutativa e decisionale e dei dati selezionati come rilevanti, e quello dell’assoggettamento alla piena cognizione del giudice amministrativo, che deve essere messo in grado di poter sindacare la logicità e la ragionevolezza della regola che governa l’algoritmo.
Pur senza affrontare ex professo i temi relativi alla declinazione del right to explanation la decisione assume particolare rilievo per lo sforzo interpretativo di ricondurre la decisione automatizzata all’interno delle categorie normative di riferimento, nel caso di specie il provvedimento amministrativo, stabilendo il principio per cui essa non può forzare i limiti strutturali e di contenuto dell’atto e il corollario che non tollera l’esistenza di ambiti (quali che siano le modalità di adozione della decisione) sottratti alla piena conoscenza delle parti e del giudice.
3.2. L’art. 8 del Decreto Legislativo 51/2018
3.2.1. La disciplina europea della decisione automatizzata si completa con la Direttiva 680-2016, adottata il 27 aprile 2016 [36], relativa alla protezione delle persone fisiche con riguardo al trattamento dei dati personali da parte delle autorità competenti a fini di prevenzione, indagine, accertamento e perseguimento di reati o esecuzione di sanzioni penali.
La Direttiva è stata recepita con il Decreto Legislativo 21.5.2018 n. 51 che costituisce un vero e proprio corpus normativo unitario in materia penale, destinato a superare l’attuale disciplina del 2003.
Il decreto regola il trattamento, interamente o parzialmente automatizzato dei dati personali per finalità di prevenzione e repressione dei reati, esecuzione di sanzioni penali, salvaguardia e prevenzione di minacce alla sicurezza pubblica (art. 1 c. 2), prevedendo un articolato sistema di garanzie (artt. 9-12) e di responsabilità in capo alle figure chiave del titolare del trattamento (artt. 15, 16, 20), del responsabile del trattamento (art. 18) del responsabile della protezione dei dati (artt. 28,30) e, infine, un articolato apparato sanzionatorio (artt. 37-46).
3.2.2. Il testo contiene una disposizione, l’art. 8, che riproduce, pur senza sovrapporsi ad esso, l’art. 22 del GDPR relativo alle decisioni automatizzate.
Poiché il rapporto tra GDPR e Decreto 51/2018 è di integrazione, dal momento che il Regolamento UE 679 esclude espressamente dal proprio ambito di applicabilità il trattamento di dati ai fini di prevenzione, indagine, accertamento o perseguimento di reati o esecuzione di sanzioni penali [art. 2 c. 1 lett. d)], la riproduzione nel decreto legislativo di una previsione analoga a quella dell’art. 22 sancisce inevitabilmente l’ingresso nel settore penale delle decisioni automatizzate.
La delicatezza della sedes materiae, nella quale entrano in gioco i fondamentali diritti di libertà, rende tutt’altro che speculativa l’indagine sulla portata precettiva della norma e cioè se essa introduca un divieto alle decisioni automatizzate, con alcune eccezioni, oppure se la decisione automatizzata sia lecita di default, salvo il potere dell’interessato di opporvisi. La scelta dell’una o dell’altra concezione interpretativa non sarà irrilevante ai fini della tutela, che nel secondo caso dipenderà dall’assetto conformativo dei diritti oppositivi, mentre nel primo dovrà essere considerata implicita nel sistema, salvo le deroghe previste [37].
Come anticipato, la disposizione non riproduce integralmente l’art. 22. La peculiarità del contesto giustifica infatti la diversa formulazione del comma 1 che vieta tout court «le decisioni basate unicamente su un trattamento automatizzato, compresa la profilazione, che producono effetti negativi nei confronti dell'interessato», e prevede una sola eccezione, vale a dire che le stesse siano autorizzate dal diritto dell'Unione europea o da specifiche disposizioni di legge. In questo caso, esse devono prevedere garanzie adeguate per i diritti e le libertà dell'interessato e assicurare comunque il diritto di ottenere l'intervento umano da parte del titolare del trattamento (c. 2). Dunque, una prima approssimativa conclusione che parrebbe potersi ricavare è che, in campo penale, alla luce del quadro normativo vigente, le decisioni completamente automatizzate siano legittime a condizione che a) producano effetti unicamente favorevoli per l’interessato; b) in caso opposto siano previste dalla legge [38]; c) la stessa preveda comunque il diritto dell’interessato di richiedere l’intervento umano da parte del titolare del trattamento. Anche in questo caso non è espressamente previsto alcun diritto inteso alla leggibilità del procedimento algoritmico [39]: tuttavia, in considerazione dell’ampliamento delle garanzie declinato nella facoltà di esigere l’intervento umano, tale omissione potrebbe considerarsi ininfluente, una volta esercitato il diritto dell’interessato di ottenere un intervento del giudice. Peraltro, si è osservato [40] che nemmeno tale disposizione potrebbe apparire pienamente soddisfacente, poiché la norma non specifica il rapporto tra intervento umano e procedimento algoritmico, ed in particolare non chiarisce se il primo avrà carattere integralmente sostitutivo, integrativo o correttivo del secondo.
3.2.3. Ovviamente è del tutto prematura ogni previsione sia sull’an che sul quomodo dell’impiego di decisioni automatizzate nel settore penale, in considerazione del rapporto tra rilevanza degli interessi in gioco (primi fra tutti il diritto alla libertà personale e alla difesa) e il presumibile apporto delle decisioni automatizzate sulla funzionalità e sui tempi del sistema giudiziario.
Pur con le cautele del caso, si potrebbe preconizzarne un impiego nei procedimenti esecutivi promossi su istanza dell’interessato, e quindi destinati a produrre effetti favorevoli [ ad esempio i procedimenti in sede esecutiva per abolitio criminis (art. 673 cpp), applicazione dell’indulto (art. 672 cpp) o estinzione del reato] oppure in alcune small claims come ad esempio i procedimenti che già ora trovano definizione semplificata con il procedimento per decreto: a ben riflettere, ad esempio, potrebbero rientrarvi quelli per i reati di cui all’art. 186 del Codice della Strada caratterizzati in sostanza dall’automaticità dell’accertamento e da sostanziali automatismi sanzionatori ormai ampiamente diffusi nella prassi, ovvero ancora per procedimenti per reati tributari di tipo puramente omissivo (ad es. mancata presentazione della dichiarazione o mancato versamento dell’imposta).
In ogni caso, qualsiasi intervento legislativo non potrà prescindere sia dall’esigenza di definire il rapporto tra profilo automatizzato ed intervento umano sia dall’individuare il punto di equilibrio tra rights of explanation e la garanzia degli interessi di natura economica e brevettuale sottostanti [41].
4. Presente e futuro dell’Intelligenza artificiale
Le prospettive di impiego dell’Intelligenza Artificiale nel settore penale (ma non solo) richiedono alcune precisazioni dirette ad inquadrare una realtà estremamente variegata e composita, sia sul piano nomenclativo che operativo.
Riprendendo la classificazione riportata nel par. 1, va ancora una volta ribadito che - come chiarito dalla Carta Etica (Appendice I) - l’Intelligenza Artificiale (c.d. debole) non è una realtà omogenea, ma un insieme di scienze e tecniche (matematica, statistica e informatica) in grado di elaborare dati per progettare compiti di elaborazione informatica complessi.
I software non producono intelligenza in sé, ma procedono utilizzando un approccio induttivo: l'idea è di associare in modo quasi automatizzato una serie di osservazioni (input) a una serie di possibili risultati (output) utilizzando varie proprietà preconfigurate. Come già detto, per la giustizia predittiva il motore crea collegamenti tra i diversi gruppi lessicali che compongono le decisioni giudiziarie.
Questi gruppi sono correlati tra quelli identificati nella fase di input (fatti e ragionamento) e quelli nella fase di output (il dispositivo della decisione) quindi classificati.
Infine - ed è questo il punto chiave – l'affidabilità del modello (o della funzione) costruito dipende fortemente dalla qualità dei dati utilizzati e dalla scelta della tecnica di apprendimento automatico.
Sul diverso versante operativo vanno distinte le realtà già sperimentate da quelle meramente virtuali: per le prime non può che essere proposto un approccio descrittivo, per le seconde, si impone invece la verifica della compatibilità con il quadro delle garanzie processuali nazionali e sovranazionali.
Ciò potrebbe corrispondere, in linea di massima, alla distinzione tra sistemi di polizia predittiva – destinati ad operare nell’area della prevenzione del crimine – da un lato, tools di valutazione del rischio di pericolosità e digital evidence in senso lato dall’altro.
Non sembra invece potersi parlare, almeno nel settore penale, di giustizia predittiva negli stessi termini con i quali il tema viene dibattuto in sede civile, dove la prevedibilità delle decisioni giudiziarie costituisce in sé un valore che a determinate condizioni può effettivamente rispondere ad esigenze di conformazione dei comportamenti e di valutazione dell’opportunità – in termini di costi e tempi – di adire il sistema, con ricadute positive sulla sua funzionalità. E non a caso è il settore civile a segnare le esperienze più avanzate in argomento [42].
In campo penale, tools di giustizia predittiva potrebbero essere impiegati come ausilio per il difensore nell’adozione delle strategie processuali: ad esempio, conoscere l’orientamento della giurisprudenza di un certo tribunale sull’applicazione dell’art. 73 c. 5 DPR 309/90 o sul trattamento sanzionatorio mediamente applicato per i reati predatori potrebbe orientare verso la scelta di riti alternativi; tuttavia, è bene osservare, non si tratterebbe di sistemi di Intelligenza artificiale in senso proprio, ma dello sviluppo ragionato di banche dati di giurisprudenza.
4.1. Tools di polizia predittiva
L’esperienza italiana sperimenta invece da qualche anno l’adozione di sistemi di Intelligenza artificiale nell’attività di prevenzione dei reati attraverso l’utilizzo di programmi diretti a prevedere la possibilità di consumazione di reati e, quindi, a prevenirli con adeguata azione di patrolling.
Si tratta, in particolare, dei software Key Crime e XLaw sviluppati da privati ed in uso presso alcune Questure [43].
Il primo si fonda sull’analisi dei dati di indagine acquisiti in relazione a precedenti reati (input) per fornire un’indicazione probabilistica di future serie criminali (output): in particolare, il primo attraverso l’esame delle variabili di una moltitudine di episodi accaduti in precedenza perviene a segnalare le serie criminali effettuate dagli stessi soggetti e prevedere dove potranno consumarsi le prossime azioni criminali, mentre il secondo si fonda con un algoritmo di tipo euristico, che interfaccia i dati acquisiti con la mappatura dell’ambiente dove vengono evidenziate le zone e gli orari della giornata ritenuti a più elevato rischio (hotspot).
Nel diverso settore della normativa antiriciclaggio opera Gianos (Generatore Indici di Anomalia per operazioni sospette) un applicativo di ausilio al sistema bancario per la rilevazione di operazioni finanziarie potenzialmente rivelatrici di money laundering.
Destinati dunque alla prevenzione dei crimini seriali (prevalentemente di tipo predatorio o sessuale), i tools di polizia predittiva attingono aree che fuoriescono dall’ambito proprio delle garanzie processuali dal momento che, al più, il loro utilizzo appare funzionale alla prevenzione del reato ovvero può consentire l’eventuale arresto in flagranza di colui che sia colto nell’atto di commettere un reato proprio in virtù dell’applicazione del software.
Ciò tuttavia non elimina, in ogni caso, il rischio di effetti distorsivi, come quello della possibile violazione della privacy scaturente da sistemi di sorveglianza generalizzata, ovvero della garanzia della protezione dei soggetti i cui dati vengano in qualche modo interessati o infine delle possibili ricadute discriminatorie implicite nella localizzazione dei fenomeni criminosi oggetto di predizione (hotspot crimes) [44].
Questo è uno dei terreni sui quali sarà chiamato a misurarsi il Decreto Legislativo 51/2018.
In tema, appare centrale la previsione dell’art. 16 che richiama la responsabilità del titolare del trattamento a mettere in atto misure tecniche e organizzative adeguate, per impostazione predefinita (privacy by default), sia alla protezione dei diritti degli interessati, anche attraverso la pseudonimizzazione [45], sia al controllo dell’accessibilità dei dati di un numero indefinito di persone (ed è proprio questo l’aspetto che più interessa in questa sede).
Meno agevole è, invece, la soluzione al quesito, che parimenti è stato sollevato, relativo alla possibilità di utilizzare gli output prodotti dai sistemi di Intelligenza artificiale per l’attività di accertamento investigativo, ad esempio per attribuire ad un soggetto altri reati consumati in precedenza.
In questo caso occorre considerare separatamente le modalità di raccolta dei dati che costituiscono l’input (i big data ricavati dalle informazioni acquisite da precedenti casi analoghi documentati) e i risultati delle correlazioni elaborate dall’algoritmo (crime-linking) [46].
Nel primo caso i temi che vengono in rilievo sono costituiti dalle modalità di raccolta dei dati che, normalmente, risulteranno ex se conformi al paradigma normativo (si tratta, infatti, di dati afferenti ad attività di investigazioni pregresse) e di conseguenza coerenti con il principio di trasparenza del dato; nel secondo caso l’indagine dovrà necessariamente spostarsi sul funzionamento dell’algoritmo introducendo inevitabilmente il tema fondamentale della verificabilità ed attendibilità della prova algoritmica [47].
4.2. L’utilizzo in funzione predittiva della pericolosità sociale
Pur essendo il settore che ha goduto di maggiore sviluppo applicativo, di fatto limitatamente ai paesi di Common law, l’impiego dell’Intelligenza Artificiale per la valutazione, anche in termini ausiliari, della pericolosità sociale nelle varie forme nelle quali essa si declina, può formare oggetto esclusivamente di osservazioni de jure condendo.
L’ambito del potenziale impiego di risk assesment tools potrebbe teoricamente dispiegarsi – in materia cautelare, come fattore predittivo della probabilità di ricaduta nel reato [art. 274 lett. c) cpp];
- nel giudizio di pericolosità sociale finalizzato all’adozione di misure di sicurezza (art. 203 cp);
- nel procedimento di prevenzione (art. 6 d.lgs 159/2011), con particolare riferimento all’applicazione della sorveglianza speciale;
- nel giudizio di cognizione, per la concessione del beneficio della sospensione condizionale della pena (art. 163 cp).
Si assume generalmente che il loro ingresso nel sistema processuale italiano trovi baluardo nell’art. 220 c. 2 cpp che, come noto, vieta nel giudizio di cognizione il ricorso alla perizia in materia criminologica in una prospettiva ancorata al divieto di introduzione di fattori di pregiudizio ante sententiam [48].
Tuttavia, non è detto che gli algoritmi di valutazione del rischio di ricaduta nel reato siano ex se sovrapponibili alla perizia criminologica e ricadano, quindi, nel medesimo divieto [49] anche se, non vertendo il loro utilizzo sull’accertamento della responsabilità, difetterebbe comunque allo stato una della condizioni per l’ingresso della prova atipica (art. 189 cpp).
Ma anche a voler ammettere che la irresistibile forza propulsiva dell’intelligenza artificiale varchi il territorio del processo penale, costituendo una forma di ausilio all’attività del giudice, resterebbero sul tavolo alcuni nodi di fondo di carattere processuale ma non solo, vale a dire:
- la verifica della qualità e natura dei dati la cui elaborazione si vuole affidare all’algoritmo;
- l’individuazione dei soggetti sotto il cui controllo dovrebbe avere luogo l’inserimento (il Ministero della Giustizia, un’Authority, un organismo misto composto da esperti indipendenti?);
- il diritto alla trasparenza, accessibilità e leggibilità dei codici sorgente, in un quadro di garanzie refrattario alla presenza di black boxes;
- la definizione del grado di vincolatività del risultato algoritmico per il giudice: si tratterebbe di un semplice ausilio di cui il giudice potrebbe anche non tenerne conto o discostarsene motivando sarebbe invece obbligatorio? e quale potrebbe essere il grado di invalidità di una statuizione che si fondi sul prodotto dell’algoritmo oppure si discosti da esso? il loro impiego potrebbe avvenire soltanto su base volontaria?
Si tratta di temi che vanno governati con una certa visione profetica che oggi sembra mancare, prima che la irresistibile forza del progresso tecnologico se ne impadronisca unilateralmente.
4.3. Acquisizione e valutazione delle prove
Non meno denso di incognite il tema dei rapporti tra prova penale - tanto nella sua dimensione rappresentativa che in quella valutativa - e Intelligenza artificiale.
Anche in questo caso si intrecciano aspetti connessi all’esistente e scenari che rimandano ad un futuro che potrebbe apparire non troppo lontano.
Non si tratta soltanto del campo della digital evidence in senso stretto, ossia della prova informatica creata, raccolta ed esaminata nell’ambito e in vista del procedimento penale, ma di tutte le informazioni, elaborate per finalità del tutto diverse, che in esso possono fare il loro ingresso.
La progressiva automazione delle funzioni più elementari introduce infatti nell’organizzazione sociale moltitudini di dati facilmente acquisibili, che sono governati ed elaborati da strumenti intelligenti.
Gli esempi possono essere i più vari: ad esempio, si pensi alla domotica e ad un elettrodomestico che si attivi soltanto al raggiungimento di una determinata temperatura interna: in quel caso il software che lo governa fornirà informazioni sulla presenza di determinate persone nell’ambiente in cui si sia consumato un delitto [50]; o ancora alle scatole nere che sono sempre più frequentemente installate sulle automobili per finalità assicurative e ai dati informativi da esse acquisibili per verificare in quanto tempo possa essere stato percorso un determinato tratto di strada (ad esempio per accertare la compatibilità con un determinato orario della presenza del sospettato sul luogo del delitto).
Un altro versante aperto alle sollecitazioni dell’Intelligenza artificiale è poi quello della valutazione della prova orale o documentale.
Un primo ambito di interesse potrebbe essere costituito dalla possibilità di valutare se il dichiarante fosse nelle migliori condizioni soggettive e oggettive (spazio-temporali, di luce, psicofisiche) per percepire l’accaduto o per percepirlo o descriverlo nei termini da lui indicati; la realtà anglosassone conosce del resto un applicativo elaborato dall’Università di Edimburgo, denominato ADVOKATE, un assessment of eyewitness evidence, che combina variamente tali dati [51].
È stato inoltre osservato che ulteriori criteri diagnostici per la valutazione di una prova orale – la coerenza della dichiarazione, vale a dire l'assenza di contraddizioni; la contestualizzazione, ossia la capacità della persona interrogata di recuperare la descrizione dello scena in cui si sono verificati gli eventi; l'esistenza o meno di commenti opportunistici nella dichiarazione, cioè di dichiarazioni sui dettagli che nessuno ha chiesto e che cercano solo di rinforzare retoricamente la credibilità di una dichiarazione - potrebbero costituire gli output di un elaborazione algoritmica [52].
Nella stessa direzione, seppur con ambiti di applicabilità più circoscritti, si è predetto l’utilizzo di strumenti diagnostici del falso documentale [53].
Di fronte ad evidenze epistemologiche o a tools elaborati da algoritmi si è paventato il rischio che il loro ingresso nel processo penale si accompagni ad una autosufficienza euristica [54] discendente dal grado più o meno elevato di condivisione sociale dei risultati della tecnologia e dell’accettazione della sua ineludibile pervasività.
Si tratta, evidentemente, di un rischio inaccettabile nel sistema delle garanzie del giusto processo, che vuole tutte le parti, giudice compreso, nelle condizioni di poter aver pieno accesso alla fonte della prova e, nel caso, di specie, conoscenza del funzionamento dell’algoritmo o comunque del sistema [55] come condizione per la sua valutazione.
Si è, infatti, più volte visto – ed è questo il punto nevralgico – che soltanto attraverso l’accessibilità e la trasparenza dell’algoritmo è possibile valutare e se del caso contestare il risultato della sua elaborazione.
Si è anche visto che le indicazioni normative, richiamano, sia pure con varietà non trascurabile di accenti, la necessità di assicurare, tanto sul piano delle policies pubbliche che su quello dell’implementazione tecnologica, il rispetto dei diritti fondamentali e in particolare, per quanto qui riguarda, il diritto alla intelligibilità del sistema.
Trasferendo la questione sul più familiare terreno processuale, si tratta di identificare strumenti idonei ad assicurare l’affermazione dei principi del giusto processo al cospetto di prove che costituiscono il frutto dell’Intelligenza artificiale.
In via del tutto teorica sarebbe possibile che il tool – specialmente se predisposto in funzione di ausilio al giudice – sia accompagnato dal rilascio delle specifiche tecniche ne illustrino l’utilizzo e mettano in condizione le parti di acquisire le relative informazioni [56]. Al di là di tale ipotesi, tuttavia, gli attori del processo si troveranno più probabilmente di fronte a sistemi la cui architettura sia ispirata a criteri differenti, non trasparenti: ed allora la valutazione dell’attendibilità della prova algoritmica non potrà aver luogo che attraverso lo strumento peritale [57], che costituisce la sola soluzione attualmente compatibile con il quadro dei principi processuali e delle garanzie del fair trial.
Soltanto attraverso il ricorso al mezzo che introduce nel processo il contributo tecnico-scientifico potrebbe divenire possibile al giudice comprendere il processo che governa l’output generato da un algoritmo che costituisca esso stesso elemento di prova e alle parti, specialmente alla difesa, contestarne l’attendibilità.
Si tratta di una soluzione che, in ogni caso, lascia sul campo diversi interrogativi la cui soluzione è inevitabilmente destinata ad essere affidata alla prassi che andrà eventualmente a formarsi.
Senza pretesa di esaustività, vengono in evidenza i criteri ai quali dovrà conformarsi il giudice per la verifica dell’attendibilità del dato probatorio generato dall’algoritmo [58], le conseguenze sul piano della utilizzabilità dell’accertata impossibilità di accesso alla sorgente [59], il rapporto tra segreto brevettuale e divulgabilità ad opera dei consulenti di parte (non soggetti, a differenza del perito, all’obbligo del segreto) [60].
Proprio le ultime considerazioni rimandano a quello che in ultima analisi, come in più occasioni già rilevato, si appresta a divenire il terreno sul quale sembrano doversi giocare le sorti dell’applicazione dell’Intelligenza artificiale nel settore penale, vale a dire il rapporto per natura conflittuale tra i diritti di sfruttamento economico dell’algoritmo (che lo vuole sottratto alla possibilità di accesso) e il diritto alla trasparenza dell’output che ne costituisce il risultato.
Ma, come è stato rilevato nel campo della più avveduta scienza informatica, «senza una tecnologia abilitante in grado di spiegare la logica delle scatole nere, questo diritto o rimarrà lettera morta, o semplicemente metterà fuori legge molti di questi sistemi».
La questione trascende le ricadute nel processo penale, che pure rilevano in questa sede, per divenire un tema di policy pubblica in quanto «richiedere che gli algoritmi di intelligenza artificiale siano comprensibili in termini umani non solo è strumentale per validarne la qualità e la correttezza, ma anche per allineare gli algoritmi con i valori e le aspettative umane, e per preservare l’autonomia dell’essere umano nella capacità di decisione» [61].
[*] Relazione per l’incontro di studi organizzato Scuola superiore della magistratura: Progresso scientifico e giudizio di merito: nuove scienze, prove atipiche, perizia, Roma, 13 settembre 2019
[2] Fonte: Osservatorio Artificial Intelligence della School of Management del Politecnico di Milano. Nel luglio 2019 è stata pubblicata dal Mise (https://www.mise.gov.it/images/stories/documenti/Strategia-Nazionale-Intelligenza-Artificiale-Bozza-Consultazione.pdf) la Bozza per la Strategia Nazionale per l’Intelligenza Artificiale che prevede un piano di investimenti di 1 miliardo di Euro entro il 2025.
[3] New York Times, edizione del 20 luglio 2017.
[5] Artificial Intelligence and life in 2030, One hundred year study on Artificial Intelligence, Stanford University, 2016, p. 5
[6] Il riferimento è allo studio condotto nel 2016 dall’University College di Londra, che ha sottoposto ad analisi 584 decisioni della Cedu relative agli artt. 3, 6 e 8 della Convenzione. Lo studio è giunto alla conclusione che il modello di apprendimento automatico riproduce le decisioni umane con una percentuale di successo del 79%. Esso si è rivelato tuttavia più accurato per quanto riguarda la parte descrittiva dei fatti delle decisioni studiate rispetto al ragionamento relativo all'applicazione della Convenzione al caso in questione (conclusione, a propria volta facilitata dalla logica binaria utilizzata, violazione/non violazione). Per maggiori informazioni, C. Barbaro, Uso dell’intelligenza artificiale nei sistemi giudiziari: verso la definizione di principi etici condivisi a livello europeo?, in Questione Giustizia, http://questionegiustizia.it/rivista/pdf/QG_2018-4_17.pdf
[7] Si cita il caso di Predictice.com, un software commerciale elaborato in Francia su un’ampia base dati (su cui, v. C. Morelli, Giustizia predittiva: in Francia online la prima piattaforma europea. Uno strumento per garantire la certezza del diritto? www.altalex.com, 3.4.2017) che nel 2016 il Ministero della Giustizia francese decise di sperimentare nelle Corti d’Appello di Douai e Rouen come tool di ausilio per la razionalizzazione delle decisioni giudiziarie. Nei fatti la sperimentazione ha avuto esito negativo, essendosi accertato che il sistema non garantiva alcun valore aggiunto rispetto alla consultazione delle banche dati, essendo fondato su un approccio statistico quantitativo e non qualitativo (v. sul punto, L’utilisation de l’outil Predictice déçoit la cour d’appel de Rennes, https://www.dalloz-actualite.fr, 16.10.2017)
[8] Il testo integrale in lingua inglese e francese (non risulta ancora disponibile una traduzione in lingua italiana) è reperibile sul sito https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c
[9] Così S. Quattrocolo, Intelligenza Artificiale e giustizia: nella cornice della Carta Etica Europea, gli spunti per un’urgente discussione tra scienze penali e informatiche, in www.lalegislazionepenale.eu, 18.12.2018, 3; v anche C. Castelli-D. Piana, Giusto processo e intelligenza artificiale, Rimini, 2019, 108 e ss.
[10] Si tratta della Convezione di Strasburgo sulla Protezione degli individui rispetto al trattamento dei dati a carattere personale, detta anche Convenzione 108, adottata dal Consiglio d’Europa nel 1981 e sottoposta da ultimo a revisione e modernizzazione (c.d. Convenzione 108+) il 18 maggio 2018. L’Italia ha ratificato il Protocollo di modifica il 5 marzo 2019.
[11] È chiaro il riferimento al Regolamento Generale (UE) 679-16 in materia di Protezione dei dati personali, il cui art. 25 stabilisce per l’appunto l’obbligo del titolare del trattamento di garantire la protezione dei dati sin dal momento della progettazione. Sul punto, Quattrocolo, op. cit., 4.
[12] Supreme Court of Wisconsin, State of Wisconsin v. Eric L. Loomis, Case no. 2015AP157-CR, 5 April – 13 July 2016: il testo è reperibile in https://caselaw.findlaw.com/wi-supreme-court/1742124.html. Per quanto rileva in questa sede l’algoritmo utilizzato dal COMPAS (Correctional Offender Management Profiling for Alternative Sanction) veniva a costituire oggetto di censure perché implicante un racial bias, stimandosi come alla popolazione afro-americana fosse assegnato un fattore di rischio recidivante doppio rispetto alla popolazione bianca. In tema, e per riferimenti bibliografici, M. Gialuz, Quando la giustizia penale incontra l’intelligenza artificiale, Luci e ombre dei risk assessment tools tra Stati Uniti ed Europa, www.dirittopenalecontemporaneo, 5 ss. v. altresì, S.Carrer, Se l’ amicus curiae è un algoritmo: il chiacchierato caso Loomis alla Corte Suprema del Wisconsin in http://www.giurisprudenzapenale.com/2019/04/24 .
[13] Così, Quattrocolo, op. cit. 6. Si potrebbe fare l’esempio, semplicistico ma illuminante, dell’incensurato residente in un quartiere dove risiedono a propria volta soggetti gravati da precedenti o caratterizzato da un elevato tasso di criminalità. È evidente che in assenza di opportuni correttivi di istruzione dell’algoritmo, il soggetto potrebbe venire discriminato dall’assegnazione di un coefficiente di rischio recidivante.
[14] La legge francese 7 ottobre 2016 («loi pour une République numérique») contiene tra le proprie disposizioni quella relativa all’accesso alle banche dati dell’open government fra cui anche i dati aggregati sulle controversie e i procedimenti giudiziari e la elaborazione di algoritmi che rendano possibile l’utilizzo delle banche dati in una prospettiva diagnostica dei bisogni del Paese in termini di servizi pubblici.
[15] Ad esempio, "2005" è un dato (potrebbe essere una cifra o un anno); nell’ambito del contesto diviene informazione.
[16] Pur senza che sia espressamente formulato in questi termini, il principio della qualità e trasparenza del dato rimanda anche al tema del rapporto pubblico-privato, ed i particolare a quello che è stato definito (A.Garapon-J. Lassague, Justice digitale, Paris, 2018, 86 ss.) lo statuto paradossale degli open data che, per acquisire senso comune fruibile da tutti, debbono essere necessariamente processati da algoritmi in mano privata, mutando inevitabilmente la loro natura, da bene pubblico (almeno nell’esperienza francese) a oggetto di commercio. Del resto, la stessa Appendice I (punto 38), non manca di formulare riserve verso “An economic model in which public case law data, which are the subject of work by judicial authorities in order to make them technically "readable" by the AI and compliant with the legal requirements for the protection of personal data, would be processed free of charge by the private sector and then sold by to the courts, professionals and citizens”.
[17] Castelli-Piana, op. cit., 89, che considerano il passaggio dal testo del provvedimento in formato digitale alla elaborazione del dato o del metadato «lo snodo dove interviene l’intelligenza umana nel suo interfacciarsi con quella digitale», donde la necessità di fissare le regole formali del discorso argomentativo da adottare nei provvedimenti in vista della determinazione dei più elevati standard di qualità del dato finale.
[18] Si richiama ancora una volta il caso Loomis, laddove una delle questioni poste verteva per l’appunto sulla impossibilità, per l’opposizione della tutela del segreto commerciale, di conoscere il funzionamento dell’algoritmo che assegnava i punteggi dei fattori di rischio di recidiva ai fini della determinazione del trattamento sanzionatorio (sentencing).
[19] In effetti, la strada della certificazione sembrerebbe quella sulla quale si sta concentrando l’attenzione della Commissione: C. Morelli, Intelligenza artificiale “legal”, in arrivo lo standard di certificazione per i tools, https://www.altalex.com/documents/news/2019/06/24
[20] La possibilità della cristallizzazione delle decisioni, fondata su un dato quantitativo piuttosto che qualitativo (vale a dire l’esistenza di una massa di dati conformi) e quindi la tendenza a conformarsi al precedente costituisce una delle avvertenze poste dagli studi più avveduti in materia di intelligenza artificiale (cfr Castelli-Piana, op.cit., 67), ciò anche nel quadro di un più ampio scenario che prefigura una (inauspicata) rivoluzione grafica nella stessa modalità di scrittura (A.Garapon-J.Lassegue, Justice digitale, op. cit., 19 ss,), ovvero la fine della motivazione come oggi viene intesa in quanto affidata integralmente all’algoritmo (J.Nieva-Fenoll, Intelligenza artificiale e processo, Torino, 2019, 107 s.).
[21] La normativa è completata dal Decreto Legislativo 10.8.2018 n. 101 recante disposizioni per l'adeguamento della normativa nazionale alle disposizioni del regolamento (UE) 2016/679.
[22] Il testo del WP 29 (così denominato perché previsto dall’art. 29 della precedente Direttiva 95/46) è disponibile alla pagina web http://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053.
[23] Difatti, tanto l’art. 8 §1 della Carta dei Diritti dell’Unione che l’art. 16 del TFUE sanciscono il diritto alla protezione come diritto riconosciuto ad ogni persona. Sul punto, La protezione dei dati personali e la sfida dell’Intelligenza artificiale, in F. Pizzetti (a cura di) Intelligenza artificiale, protezione dei dati personali e regolazione, Torino, 2018, 5 ss..
[24] Il cui testo si riproduce integralmente: «1. L'interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona. 2. Il paragrafo 1 non si applica nel caso in cui la decisione: a) sia necessaria per la conclusione o l'esecuzione di un contratto tra l'interessato e un titolare del trattamento; b) sia autorizzata dal diritto dell'Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell'interessato; c) si basi sul consenso esplicito dell'interessato. 3. Nei casi di cui al paragrafo 2, lettere a) e c), il titolare del trattamento attua misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell'interessato, almeno il diritto di ottenere l'intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione. 4. Le decisioni di cui al paragrafo 2 non si basano sulle categorie particolari di dati personali di cui all'articolo 9, paragrafo 1, a meno che non sia d'applicazione l'articolo 9, paragrafo 2, lettere a) o g), e non siano in vigore misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell'interessato».
[25] Sul punto, in generale, R. Messinetti, Trattamento dei dati per finalità di profilazione e decisioni automatizzate in N.Zorzi Galgano, Persona e mercato dei dati. Riflessioni sul GDPR, Milano, 2019, 175 e ss; Commento all’art. 22, in GDPR e normativa privacy. Commentario, a cura di G.M. Riccio, G. Scorza, E. Belisario, Milano, 2018, pp. 220 e ss.
[26] La profilazione è intesa [art. 4 n. 4) del Regolamento] come «qualsiasi forma di trattamento automatizzato di dati personali consistente nell’utilizzo di tali dati personali per valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l’affidabilità, il comportamento, l’ubicazione o gli spostamenti di detta persona fisica».
[27] Sul punto, Commento all’art. 22, cit. 223. Il Considerando 71 al Regolamento fornisce i seguenti esempi tipici: «rifiuto automatico di una domanda di credito online» o «pratiche di assunzione elettronica senza interventi umani».
[28] Le Linee guida fanno l’esempio della riduzione del plafond disponibile di una carta di credito basata non sulla insolvibilità del cliente ma su quella di altri soggetti che si servono negli stessi negozi.
[29] Il Considerando 71, ancora, richiama in via esemplificativa le finalità di monitoraggio e prevenzione delle frodi e dell'evasione fiscale.
[30] F. Pasquale, The black box society: The secret algorithms that control money and information. Harvard University Press, 2015.
[31] Sul punto, Commentario, cit., pp. 225 e ss.
[32] Cfr. S.Wachter, B.Mittelstadt, L.Floridi, Why a Right to Explanationof Automated Decision Making Does Not Exist in the General Data Protection Regulation, International Data privacy Law, vol. 7 n. 2, pp. 78 e ss., che richiamano a tal fine il Considerando 63, per il quale il diritto dell’interessato al trattamento potrebbe incontrare limitazioni nei diritti e nelle libertà altrui, compreso il segreto industriale e aziendale e la proprietà intellettuale, segnatamente i diritti d'autore che tutelano il software. Anche F. Pizzetti (La protezione dei dati personali e la sfida dell’Intelligenza artificiale, cit, p. 34) esclude che lo statuto dei diritti di chi sia interessato da una decisione automatizzata preveda il diritto a conoscere la logica dei trattamenti, pur non escludendo che tale diritto possa essere riconosciuto e regolato nei provvedimenti autorizzativi statali o del diritto dell’Unione.
[33] Si è infatti osservato che il diritto alla spiegazione del funzionamento dell’algoritmo si articola nella distinzione tra system functionality, che riguarda la logica della decisione prima che la stessa sia assunta (quindi ex ante), e specific decisions, che attiene alle ragioni e le circostanze individuali di una specifica decisione automatizzata, che tuttavia può soffrire limitazioni di tipo tecnico derivanti dal modo in cui la macchina assume determinate decisioni: sul punto, Cfr S. Wachter, B. Mittelstadt, L. Floridi, op cit., pp. 78 ss.
[34] G. Malgieri-G. Comandè, Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regulation, in International Data Privacy Law, 7,2017, passim, in particolare, per una valutazione di sintesi, 35.
[35] In www.giustizia-amministrativa.it. In precedenza, in altro simile giudizio, riguardante l’impugnazione di un piano straordinario di mobilità di docenti, il giudice amministrativo aveva adottato la soluzione assai più tranchant, sancendo che «alcuna complicatezza o ampiezza, in termini di numero di soggetti coinvolti ed ambiti territoriali interessati, di una procedura amministrativa, può legittimare la sua devoluzione ad un meccanismo informatico o matematico del tutto impersonale e orfano di capacità valutazionali delle singole fattispecie concrete, tipiche invece della tradizionale e garantistica istruttoria procedimentale che deve informare l’attività amministrativa, specie ove sfociante in atti provvedimentali incisivi di posizioni giuridiche soggettive di soggetti privati e di conseguenziali ovvie ricadute anche sugli apparati e gli assetti della pubblica amministrazione» e quindi escludendo qualsiasi compatibilità con il sistema delle tutele amministrative di provvedimenti scaturenti da decisioni automatizzate (TAR Lazio, Sez. III-bis, 10.9.2018 n. 9227).
[36] Nonché dalla Direttiva 681/16 sull'uso dei dati del codice di prenotazione aereo (PNR) a fini di prevenzione, accertamento, indagine e azione penale nei confronti dei reati di terrorismo e dei reati gravi, recepita con il Decreto legislativo 21.5.2018 n. 53.
[37] Su questi temi, le considerazioni di Messinetti, op. cit,, 186 anche per riferimenti al dibattito dottrinale.
[38] Si vedano sul punto le osservazioni critiche di B. Galgani, Giudizio penale, habeas data e garanzie fondamentali, Archivio penale, 2019,1, 25, la quale reputa imprescindibile che il legislatore predisponga adeguate garanzie e assicuri il diritto dell’interessato all’intervento umano.
[39] Come correttamente messo in rilievo da C. Castelli-D. Piana, Giusto processo e intelligenza artificiale, 122. Rimini, 2019. La tutela è peraltro completata dall’art. 25 che impone al titolare o al responsabile del trattamento obblighi di sicurezza del trattamento consistenti nel «a) vietare alle persone non autorizzate l'accesso alle attrezzature utilizzate per il trattamento («controllo dell'accesso alle attrezzature»); b) impedire che supporti di dati possano essere letti, copiati, modificati o asportati da persone non autorizzate («controllo dei supporti di dati»); c) impedire che i dati personali siano inseriti senza autorizzazione e che i dati personali conservati siano visionati, modificati o cancellati senza autorizzazione («controllo della conservazione»); d) impedire che persone non autorizzate utilizzino sistemi di trattamento automatizzato mediante attrezzature per la trasmissione di dati («controllo dell'utente»); e) garantire che le persone autorizzate a usare un sistema di trattamento automatizzato abbiano accesso solo ai dati personali cui si riferisce la loro autorizzazione d'accesso («controllo dell'accesso ai dati»); f) garantire la possibilità di individuare i soggetti ai quali siano stati o possano essere trasmessi o resi disponibili i dati personali utilizzando attrezzature per la trasmissione di dati («controllo della trasmissione»); g) garantire la possibilità di verificare e accertare a posteriori quali dati personali sono stati introdotti nei sistemi di trattamento automatizzato, il momento della loro introduzione e la persona che l'ha effettuata («controllo dell'introduzione»); h) impedire che i dati personali possano essere letti, copiati, modificati o cancellati in modo non autorizzato durante i trasferimenti di dati personali o il trasporto di supporti di dati («controllo del trasporto»); i) garantire che, in caso di interruzione, i sistemi utilizzati possano essere ripristinati («recupero»); l) garantire che le funzioni del sistema siano operative, che eventuali errori di funzionamento siano segnalati («affidabilità») e che i dati personali conservati non possano essere falsati da un errore di funzionamento del sistema («integrità»)».
[40] L. Pulito, Il trattamento dei dati personali in ambito penale e l'uso del passenger name record per contrastare il terrorismo e altri reati gravi, Processo penale e giustizia, 2018, 6, 1148.
[41] Ciò a meno che non sia la stessa amministrazione giudiziaria a procurarsi l’algoritmo, provvedendo all’acquisto del software mediante gara.
[42] È proprio di questi giorni la notizia che il Tribunale di Genova e la Scuola Superiore S. Anna hanno stipulato un protocollo per mettere a disposizione degli utenti l’esame ragionato degli indirizzi emersi da Big Data costituiti da sentenze in materia di separazione e divorzio di risarcimento danni non patrimoniali e nello specifico, quelle di risarcimento del danno da stress e da mobbing lavorativo e che costituisce un primo passaggio verso forme di giustizia predittiva, Il Secolo XIX, 17 settembre 2019.
[43] Per una panoramica sul loro funzionamento e per accenni ad altri progetti, C. Morelli, Furti e rapine: a sventarli ci pensa l’intelligenza artificiale!, Altalex, 6 maggio 2019. Sul punto, v. anche, in dettaglio C. Parodi-V. Sellaroli, Sistema penale e intelligenza artificiale: molte speranze e qualche equivoco, www.penalecontemporaneo.it, 16 giugno 2019, 55.
[44] Sul tema A. Bonfanti, Big data e polizia predittiva: riflessioni in tema di protezione del diritto alla privacy e dei dati personali, www.medialaws.eu 3/2018 24 ottobre 2018, pp. 206 ss. Non va trascurato, poi, il tema delle c.d. “profezie che si autoavverano” (self-fulfilling prophecies), che descrivono il circolo vizioso che si produce per il fatto che i quartieri considerati a rischio attirano più attenzione della polizia e la polizia rileva più criminalità, il che porta a un'eccessiva sorveglianza sulle comunità che vi abitano.
[45] La pseudonimizzazione consiste in una modalità particolare di trattamento intesa ad impedire che i dati personali possano essere riferiti ad un determinato soggetto senza l’utilizzo di informazioni aggiuntive a loro volta, separatamente gestite [art. 2 c. 1 lett. d)].
[46] Su questi temi, si vedano le riflessioni di Parodi-Sellaroli, op. cit., pp. 57 ss.
[47] Ovviamente, completamente diverso – e non soggetto a particolari rilievi – è il tema della possibilità di utilizzare i risultati delle correlazioni elaborate come mero spunto investigativo, destinato ad essere integrato da altre autonome fonti di prova.
[48] S. Quattrocolo, Quesiti nuovi e soluzioni antiche? Consolidati paradigmi normativi vs rischi e paure della giustizia digitale “predittiva”, Cass. Pen, 2019, pp. 1761 e ss. e, con accento critico, Gialuz, op. cit., pp. 19 ss.
[49] In questo senso, Gialuz, op. cit., p. 20.
[50] L’esempio è tratto da S. Quattrocolo, Equità del processo e automated evidence alla luce della Convenzione Europea dei diritti dell’Uomo, Revista Italo-Espanola de Derecho Procesal, 2019, 2, 11.
[51] J. Nieva-Fenoll, Intelligenza artificiale, op. cit., pp. 71 ss. ADVOKATE è l’acronimo delle otto domande utilizzate con input per la valutazione della competenza ed affidabilità dei testimoni (tempo, distanza, visibilità, ostacoli, pregressa conoscenza con l’oggetto della testimonianza, particolari ragioni per cui il ricordo possa essersi fissato nella mente, tempo trascorso dal fatto, errori o discrepanze).
[52] J. Nieva-Fenoll, op. cit., p. 74 che tuttavia mette in guardia sulle difficoltà per un programma di intelligenza artificiale di rilevare facilmente un giudizio di coerenza senza l'intervento umano.
[53] J. Nieva-Fenoll, op. cit., pp. 80 ss., che riconosce, tuttavia che altro è l’analisi linguistica di un documento, altro è sua comprensione, dal che si potrebbe arguire che l’Intelligenza artificiale ben difficilmente potrebbe essere impiegata come strumento di valutazione della prova di un falso ideologico documentale.
[54] Su questo, punto le non recenti ma pur sempre attuali considerazioni di E. Van Buskirk-V.T. Liu, Digital Evidence: Challenging the Presumption of reliability, Journal of Digital Forensic Practice, 2006-1, 20) sulla “incrollabile fiducia” riposta dai giudici delle Corti nella capacità dei software di fornire prove affidabili.
[55] Questa è l’indicazione, del tutto condivisibile, di Quattrocolo, Equità, cit., p. 16; ovviamente, nulla impedirebbe alla difesa che intenda contestare il risultato della prova algoritmica, di provvedere alla nomina di un consulente tecnico al di fuori della perizia (art. 233 cpp).
[56] In fondo, questa è la ratio dedicendi del caso Loomis, nel quale la contestazione della difesa in ordine alla non accessibilità del COMPAS venne superata sulla base dell’argomentazione per cui la società detentrice della licenza di utilizzo aveva messo a disposizione il libretto di istruzioni.
[57] Questa è l’indicazione, del tutto condivisibile, di Quattrocolo, Equità, cit. 16; ovviamente, nulla impedirebbe alla difesa che intenda contestare il risultato della prova algoritmica, di provvedere alla nomina di un consulente tecnico al di fuori della perizia (art. 233 cpp).
[58] È quasi immediato il richiamo al Daubert test ed alla Rule of Evidence 702. Non a caso, del resto, proprio il Daubert test ha costituito il parametro di riferimento in un giudizio in tema di utilizzo di un risk assessment tools in campo minorile nel quale il tema di decisione si è appuntato sulla attendibilità scientifica del tool alla luce dei criteri di validazione della prova scientifica. Si veda per l’ampia ricostruzione della vicenda S. Quattrocolo, Quesiti nuovi, cit., pp. 1754 ss..
[59] Di fronte alla rilevata impossibilità di risalire al modo con il quale l’algoritmo ha prodotto un determinato risultato assunto come elemento di prova potrebbero venire in rilievo sia la inutilizzabilità (per essere la prova assunta in violazione del divieto di legge, nel caso di specie, il GDPR, che vuole assicurato il diritto alla leggibilità dell’algoritmo), sia la nullità del procedimento acquisitivo, per violazione dell’art. 178 c. 1 lett. c).
[60] Sul punto, è da verificare l’efficacia, peraltro rivedibile alla luce del Decreto 51/2008, delle Linee guida in materia di trattamento di dati personali da parte dei consulenti tecnici e dei periti ausiliari del giudice e del pubblico ministero, adottate con deliberazione del Garante per la protezione dei dati personali n. 46 del 26 giugno 2008 (G.U. n. 178 del 31 luglio 2008), che fa obbligo ai consulenti di accogliere e trattare lecitamente dati personali nei limiti in cui è necessario per adempiere all´incarico ricevuto e solo nell´ambito dell´accertamento demandato e di adottare misure tecniche ed organizzative per evitare una indebita divulgazione delle informazioni o la loro perdita o distruzione. Nella stessa direzione potrebbe militare il presidio penale costituito dall’art. 379-bis cp.
[61] D. Pedreschi et al. Open the Black Box. Data-Driven Explanation of Black Box Decision Systems, June 2018, in https://arxiv.org/pdf/1806.09936v1.pdf, 13.