Intelligenza artificiale e memoria della giustizia: il grande malinteso ^*

"Tout ce qui est neuf n’est pas nécessairement nouveau”; “tutto ciò che è nuovo non è necessariamente una novità”. Questo pensiero, attribuito al filosofo francese Paul Ricoeur, sembra potersi perfettamente applicare agli ultimi sviluppi della trasformazione digitale che stiamo vivendo, compresi i tentativi di trattare le decisioni giudiziarie con il formalismo matematico[1] a fini predittivi. Sono già ben conosciuti i limiti dei tentativi di descrivere i fenomeni sociali attraverso le equazioni[2]: ma l'estasi collettiva provocata dall'uso del termine, vago e di marketing, di "intelligenza artificiale" (IA) sembra aver perfettamente oscurato la realtà concreta della tecnologia alla base di quest'ultima moda. Infatti, l’apprendimento automatico (machine learning) e i suoi derivati sono solo un modo di creare dell’informazione, attribuendo un senso a una serie di dati sulla base di diversi e ben noti metodi statistici.

In questo contesto di confusione piuttosto generalizzata, la matematica sarebbe diventata per Cathy O'Neil, data scientist, una nuova "arma di distruzione di massa" perché, nonostante la sua apparente neutralità, servirebbe a effettuare dei calcoli algoritmici così complessi da rendere difficile, se non impossibile, l’individuazione trasparente delle scelte spesso arbitrarie operate dai loro autori.[3] L’uso disinvolto della matematica potrebbe addirittura rinforzare in modo inedito la discriminazione e la disuguaglianza, "utilizzando le paure delle persone e la loro fiducia nella matematica per evitare che si facciano domande[4]".

Questo approccio ci sembra pertinente: invece di speculare in modo sterile sui rischi fittizi generati dall’IA,[5] non dovremmo piuttosto trattare in primo luogo le questioni relative alla difficoltà di utilizzare il formalismo matematico e statistico per descrivere i fenomeni sociali, così come i profondi cambiamenti di governance indotti dall’IA? Ci sarà quindi uno sforzo di definizione prima di qualsiasi tentativo di analisi, perché senza un vocabolario chiaro non si può costruire un pensiero chiaro (1). Applicati alle decisioni dei tribunali, i modelli matematici penano a rendere conto dell'intera realtà che pretendono descrivere e possono prestarsi solo in modo imperfetto a fini predittivi o attuariali (2). Le critiche alla commercializzazione frettolosa delle soluzioni di IA, il cui potenziale è a volte sopravvalutato, possono anche oscurare la comprensione delle vere sfide della trasformazione digitale in corso (3).

1. Un formalismo matematico molto efficace per compiti altamente specializzati

La crescita esponenziale dell'efficacia del trattamento dei dati informatici dal 2010 è totalmente da distinguere dai progressi notevoli che la ricerca fondamentale deve ancora compiere per modellare un'intelligenza agile come l'intelligenza umana.

Alcuni pensavano di poterla ridurre a "10 milioni di regole[6]": ricercatori come Yann LeCun sostengono che l'IA si scontri in realtà con una buona rappresentazione del mondo, che è una "questione fondamentale scientifica e matematica, non una questione di tecnologia[7]". A volte si realizza una distinzione tra l’"IA forte" della fantascienza (generalista, capace di apprendere da sola e adattabile autonomamente a contesti molto diversi), e le attuali IA "deboli" o "moderate", ultra-specializzate e non adattabili in modo del tutto autonomo[8] a completi cambiamenti di paradigma. Tuttavia, questa distinzione non chiarisce cosa si intenda per "intelligenza" e alimenta molti malintesi e fantasie, mantenute e veicolate dai media, che non sempre riescono a decifrare i discorsi commerciali e a spiegare in modo semplice i concetti in gioco[9].

Cominciamo col ricordare che non esiste una definizione comunemente accettata di "IA", spesso confusa con gli algoritmi che la compongono[10]. In realtà, i meccanismi soggiacenti a questo termine plastico sono di varia natura e, in gran parte, conosciuti da tempo. Storicamente, tali meccanismi hanno oscillato tra un approccio cosiddetto "simbolico", che consiste nella scrittura di un codice informatico che rispecchi il ragionamento da riprodurre, e un approccio cosiddetto "connessionista", che mobilizza un calcolo parallelo di funzioni elementari per fare emergere comportamenti significativi[11]. Più precisamente, l'apprendimento automatico, che è all'origine della recente infatuazione per l’IA, è riuscito a concretizzare le rivendicazioni dei sistemi connessionisti, come le reti neurali[12], superando i limiti dei vecchi "sistemi esperti",[13]simbolici, grazie alla congiunzione recente di due fattori: le capacità di trattamento dei processori e la disponibilità di una notevole quantità di dati (big data).

Ciò che intendiamo per apprendimento è questo trattamento induttivo, che mobilita approcci statistici Bayesiani[14] per costruire modelli a partire dai dati, modelli la cui utilità è quella di poter effettuare delle "predizioni" con dei nuovi dati in entrata.

Ciò che colpisce di questi approcci connessionisti è che l'obiettivo primario dei loro progettisti non è quello di comprendere il funzionamento dei modelli costruiti automaticamente dal computer, ma di assicurare che la macchina riesca ad avvicinarsi gradualmente ai risultati attesi, se necessario con ancora più dati, attraverso fasi successive o continue di ricerca. Ed è proprio qui che si trova la novità della nostra epoca: questi sistemi di apprendimento automatico sono in grado di adattare il loro funzionamento sulla base delle loro interazioni con nuovi dati, a volte in modo dinamico con altre tecnologie (come sensori audiovisivi o meccanismi robotici), ciò che gli conferisce un aspetto antropomorfo fuorviante.

Il concetto di IA deve essere globalmente demistificato se ci atteniamo ad un'interpretazione rigorosa della parola "intelligenza". In realtà si tratta di sistemi computazionali complessi e non di repliche (anche sommarie) del cervello umano (che include processi percettivi, di apprendimento, di auto-organizzazione e di adattamento).

Utilizzati in ambienti circoscritti, come il gioco cinese del go o con dati quantificabili non ambigui, i risultati possono essere davvero entusiasmanti grazie ad un investimento… umano[15] molto elevato (e costoso). Ma sarebbe molto affrettato interpretare questi successi in ambiti molto ristretti come le premesse dell'avvento di una "IA generale", nuovo Santo Graal dei ricercatori[16], o facilmente trasferibile ad altre applicazioni. Eseguito in ambienti aperti e meno facilmente quantificabili, questo formalismo funziona con più difficoltà; e questo è particolarmente vero quando si cerca di misurare fenomeni sociali dove "è molto più difficile trovare un rapporto stabile" che nelle scienze naturali, ricche di "fatti ostinati che non possono essere liquidati in modo sbrigativo"[17].

2. Un formalismo matematico insufficiente per riprodurre fedelmente la memoria della giustizia

Nonostante questa semplice osservazione, non c’è voluto molto tempo affinché degli imprenditori sfruttassero l'entusiasmo generato dall'apprendimento automatico per sviluppare soluzioni commerciali in una vasta gamma di settori (commercio al dettaglio, trasporti, industria, urbanistica, medicina...) alla ricerca di nuovi mercati, senza una reale consapevolezza della complessità di alcuni soggetti trattati[18]. Così, il diritto è stato uno degli obiettivi prescelti, e l'apparente logica del ragionamento giuridico (compreso il sillogismo delle decisioni giudiziarie) ha portato i matematici a credere che ci fosse della materia da utilizzare. Sulla base di una necessità (rendere la risposta giudiziaria più prevedibile) e di alcuni preconcetti (ad esempio che l’alea giudiziaria deriverebbe solo da pregiudizi umani da parte dei giudici e non da uno sforzo di individualizzazione delle decisioni), alcuni investitori, come gli assicuratori, hanno sponsorizzato il costoso sviluppo di soluzioni di apprendimento automatico fondate sulle decisioni giudiziarie[19].

Qualunque sia il nome commerciale (giustizia predittiva, quantitativa o attuariale), le applicazioni sviluppate coprono la stessa e unica realtà che consiste nel determinare vari tipi di probabilità sull'esito di una controversia, trattando non una narrazione grezza ma fatti già qualificati giuridicamente. In Francia, i prodotti sviluppati dalle legaltechs si sono focalizzati su controversie con decisioni quantificabili, che lasciano al giudice un margine di apprezzamento più o meno ampio, come il risarcimento dei danni alla persona, il diritto del lavoro o il divorzio. La costruzione di modelli matematici si basa quindi su una materia prima (le decisioni giudiziarie già pronunciate in questi tipi di contenzioso), e sull'apprendimento automatico per scoprire le correlazioni di gruppi lessicali. In concreto, la macchina cerca possibili collegamenti tra i vari parametri individuati dai progettisti (come la durata del matrimonio, la situazione professionale, la disparità nella situazione patrimoniale, l'età e lo stato di salute delle parti per le prestazioni compensative) con i risultati pronunciati dal tribunale (l'ammontare dell’indennità pronunciata secondo questi criteri). Tuttavia, l'applicazione di questo procedimento al contenuto di una decisione richiede estremo rigore, poiché le correlazioni linguistiche scoperte nelle decisioni sono ben lungi dall'essere interpretate in modo definitivo come relazioni di causa-effetto[20].

Questo approccio al trattamento dei dati derivanti da decisioni giudiziarie è oggetto principalmente di tre critiche, perfettamente enunciate nella Carta etica della CEPEJ e nel suo studio in allegato[21]:

In primo luogo, questo formalismo non permette di rivelare la complessità degli argomenti giuridici utilizzati[22] - va ricordato, come rilevato in teoria del diritto, che il ragionamento giudiziario è soprattutto una questione di interpretazione. Il famoso sillogismo giudiziario è più un modo di presentare il ragionamento giuridico che la sua traduzione logica e non riflette necessariamente l'intero ragionamento del giudice, il quale è punteggiato da una moltitudine di scelte discrezionali, non formalizzabili a priori. La coerenza complessiva delle decisioni giudiziarie non è mai garantita e risulterebbe per lo più da una narrazione a posteriori, e meno da una descrizione rigorosa dell’integralità delle scelte operate[23]. Tuttavia, l'apprendimento automatico è inefficace nello svolgimento di questo lavoro di interpretazione, con i progettisti che sperano al massimo che la rilevazione della regolarità in contesti lessicali riesca a riprodurre in uscita gli stessi effetti del processo decisionale che ha prodotto questi dati.

Una revisione del lavoro dell'University College of London, che ha riferito di aver correttamente classificato il 79% delle decisioni della Corte Europea dei Diritti dell'Uomo (violazione o non violazione), conferma questa diagnosi[24]. Questi ricercatori, infatti, sono stati in grado di produrre una probabilità fondandosi su un materiale già trattato giuridicamente, il quale fornirebbe per lo più informazioni sulla pratica professionale dei giuristi della Cancelleria della Corte (che talvolta utilizzano paragrafi pre-redatti a seconda del trattamento e dell'esito della causa) che sul significato della riflessione giuridica[25]. Specchio della rappresentazione statistica di un campione di decisioni, la tecnica utilizzata riesce per lo più a raggruppare documenti che rispettano lo stesso formalismo, ma operebbe con difficoltà se dovesse partire da un resoconto grezzo di un futuro richiedente dinanzi alla Corte di Strasburgo. Questi risultati sono soprattutto estranei alla questione della conformità giuridica di una particolare soluzione, poiché questi calcoli di probabilità non possono discriminare tra ragionamenti giuridicamente validi e non giuridicamente validi.

Infine, tali calcoli probabilistici non possono in alcun modo sostituirsi al significato della legge, come ha dimostrato la questione dell'uso delle tabelle giudiziarie: se queste scale sono sempre statisticamente rilevanti, non possono, semplicemente perché esistono, sostituirsi alla legge stessa, in particolare riducendo il margine di interpretazione che essa offre necessariamente al giudice[26].

Questo formalismo da solo non permette, inoltre, di spiegare il comportamento dei giudici[27] - L'altro grande mito trasmesso dal discorso che promuove gli strumenti dell'intelligenza artificiale è la loro capacità di spiegare le decisioni dei tribunali. Alcune legaltechs hanno dichiarato di essere in grado di individuare possibili pregiudizi dei magistrati, che potrebbero indurre a sospetti di parzialità . L'uso dei nomi dei presidenti di formazioni collegiali dei tribunali amministrativi in open data ha permesso per un certo lasso di tempo di costruire un indicatore nominale del tasso di rigetto dei ricorsi contro gli obblighi di lasciare il territorio francese[28]. Non sorprende quindi che una delle questioni principali che ancora anima il dibattito su questi nuovi strumenti sia l'accesso ai nomi dei professionisti nelle decisioni giudiziarie in open data, in particolare dei giudici[29]. Ma possiamo davvero spiegare il comportamento dei giudici fondandoci sul trattamento algoritmico delle frequenze dei loro nomi in alcune decisioni giudiziarie?

Da un punto di vista scientifico, spiegare un fenomeno o, per quanto ci riguarda, un comportamento umano (quello di un giudice) equivale a determinare i meccanismi causali che hanno portato a tale comportamento in presenza di una certa quantità di dati contestuali. Ciò richiede l'istituzione preliminare di un quadro interpretativo, costituito dalle ipotesi o dai punti di vista adottati dalle diverse discipline delle scienze sociali[30].

Ricordiamo che l'IA costruisce modelli cercando di rivelare le correlazioni nascoste in una grande quantità di dati. Tuttavia, la correlazione statistica tra due eventi da sola non è sufficiente a spiegare i reali fattori causativi[31]. Applicata al diritto e alle decisioni giudiziarie, l'ambizione di oggettivare le decisioni dei giudici utilizzando algoritmi risulta scientificamente errata e ideologica, poiché la reale spiegazione di una sentenza richiederebbe un'analisi molto più dettagliata dei dati di ogni causa. Tale spiegazione non può essere generata spontaneamente da una massa di collegamenti lessicali contenenti il nome di un magistrato. Ad esempio, il fatto che un giudice familiare fissi prevalentemente la residenza abituale di un figlio presso la madre non riflette necessariamente un pregiudizio a favore delle donne, ma è più un riflesso dell'esistenza di fattori socioeconomici e culturali specifici alla giurisdizione (o semplicemente della mancata presentazione di una richiesta da parte dei padri). Allo stesso modo, sembra difficile attribuire una tendenza decisionale ad una formazione giudiziaria collegiale solo sulla base del nome del suo presidente.

I rischi di spiegazioni distorte delle decisioni giudiziarie sono quindi molto elevati se effettuati solo sulla base di calcoli probabilistici. La giustizia "predittiva" costituirebbe quindi una sorta di memoria miope della giustizia, priva di un'analisi dettagliata dei veri elementi causativi delle decisioni giudiziarie che vorrebbe invece restituire. La speranza di vedere emergere dal trattamento dell’IA una "norma fondata sui numeri" che imporrebbe ai giudici uno "sforzo rinnovato di giustificazione" per spiegare la deviazione dalla media deve essere ampiamente attenuata in vista della comprensione tecnica della meccanica che produce questa media[32]. Soprattutto, il solo valore statistico dei risultati ottenuti è spesso altamente discutibile in assenza di un reale controllo del perimetro dei dati prospettati e dell'effetto "scatola nera" di alcuni algoritmi come il deep learning (apprendimento profondo)[33]. Inoltre, come ha dimostrato l'emergere delle tabelle giudiziarie, può esserci una forte tentazione per i progettisti di questi strumenti di impegnarsi nel data-snooping, cioè di selezionare i dati a monte in modo che possano essere significativi in relazione a griglie di analisi predeterminate, ad esempio non includendo nel campione decisioni che non si prestano a correlazioni di sequenze linguistiche.

Inoltre, i modelli di apprendimento automatico possono riprodurre e aggravare delle discriminazioni[34]. Le diverse tecniche di apprendimento automatico appaiono di per sé neutre in termini di valori sociali: che l'apprendimento sia supervisionato o meno, con o senza rinforzo, basato su vettori o reti neuronali profonde, le scienze fondamentali su cui si basano riposano essenzialmente su un formalismo matematico e statistico. Tuttavia, l'uso di questo formalismo con metodi e dati distorti porterà sistematicamente a risultati distorti.

Prendiamo l'esempio dell'algoritmo COMPAS[35] che viene utilizzato in alcuni Stati americani per valutare la pericolosità delle persone in vista della loro eventuale collocazione in custodia cautelare o quando viene pronunciata una condanna penale. Questo algoritmo si basa su studi accademici in criminologia e sociologia, su diversi modelli statistici e sull'elaborazione di un questionario di 137 voci, relative alla persona interessata e alla sua origine giudiziaria senza alcun riferimento alla sua origine etnica[36]. Il sistema fornisce quindi al giudice diversi "punteggi" su un periodo di due anni: rischio di recidiva, rischio di comportamento violento e rischio di non comparizione in situazioni di detenzione preventiva. L'approccio sembra essere multidisciplinare e scientificamente fondato.

Tuttavia, nel maggio 2016, i giornalisti della ong ProPublica hanno analizzato l'efficacia delle "previsioni" di COMPAS su una popolazione di quasi 10.000 persone arrestate nella contea di Broward County, in Florida, tra il 2013 e il 2014[37]. Questo studio ha rivelato non solo un tasso relativamente basso di "previsioni" accurate (61%) ma, effettuando un'analisi approfondita dei "falsi positivi", ha anche stabilito che le popolazioni afro-americane sono ponderate con un rischio di recidiva più elevato rispetto alle popolazioni bianche. Al contrario, le popolazioni bianche che avevano effettivamente recidivato avevano il doppio delle probabilità di essere classificate a basso rischio rispetto alle popolazioni afro-americane. In altre parole, senza includere l'etnia degli individui o essendo stato specificamente concepito per tenere conto di questa caratteristica, i riferimenti incrociati dei dati (compreso il luogo di residenza) hanno indirettamente prevalso a scapito di altri fattori sociali individuali (istruzione, occupazione, contesto familiare) e hanno portato i giudici ad essere influenzati da indicatori strettamente discriminatori. Ridurre il destino di un individuo a quello del suo gruppo statistico di appartenenza è una rinascita indiscutibile di una dottrina criminale deterministica, che potrebbe avere difficoltà a prendere forma in Francia a causa della radicata natura di "Nuova Difesa Sociale" e in Italia in ragione del principio di materialità del sistema penale, secondo cui la responsabilità penale deve basarsi solo su condotte autenticamente offensive di un bene giuridico e non su mere qualità personali, così come del ruolo centrale dalla finalità rieducativa della pena (articolo 27 della Costituzione italiana), integrata dal giudice nella definizione della pena edittale e nell’esecuzione della pena.

Si potrebbe considerare che il problema così posto in materia penale è singolare. In realtà, lo stesso vale per le cause civili, amministrative o commerciali: la natura della materia è infatti ininfluente rispetto alla presenza di eventuali distorsioni nel metodo e nei dati. Sarebbe interessante, ad esempio, esaminare se, per una serie di prestazioni compensative in cui la situazione coniugale ed economica è oggettivamente equivalente, gli importi previsti dagli algoritmi siano ponderati in modo diverso a seconda del luogo di residenza delle parti. In caso positivo, quali criteri, espliciti o sottostanti, possono avere avuto un'influenza? La mancanza di spiegazioni o di trasparenza su questi elementi fattuali equivale a lasciare a una "scatola nera" la possibilità di influire sull'esito di una controversia in modo del tutto discrezionale e di riprodurre delle disuguaglianze.

3. Un formalismo matematico fondatore di una società basata sui dati

L'apprendimento automatico, senza consapevolezza della complessità della materia (applicazione della legge e fenomeni sociali), può quindi creare più problemi di quelli che pretende di risolvere. Lungi dal poter offrire "un'ampia collegialità e un'indipendenza più condivisa[38]", è probabile che in realtà cristallizzi la giurisprudenza intorno a calcoli parziali che sono solo rappresentativi di se stessi. È vero che sembra difficile liberarsi della "vocazione inquietante" di alcuni sistemi computazionali: affermare la verità. Per Eric Sadin, la tecnologia digitale sarebbe oggi "una potenza intesa a rivelare l'alétheia, cioè la verità, nel senso definito dall'antica filosofia greca, intesa come manifestazione della realtà dei fenomeni in contrapposizione alle apparenze[39]".

Il grande entusiasmo intorno alle potenzialità, reali o immaginate, dell'apprendimento automatico è quindi altamente criticabile: non solo per la evidente mancanza di maturità di quest’ultimo, ma soprattutto per questo nuovo regime di verità ad esso connesso, che si impone a dispetto di quello che dovrebbe essere un rigoroso lavoro di analisi dei risultati di questi strumenti; strumenti che sono solo il riflesso imperfetto e orientato di una realtà che si dovrebbe cercare di descrivere e comprendere in modo pluridisciplinare. Gli attuali sforzi finanziari e umani delle industrie digitali si concentrano sulla costruzione affrettata di complesse cattedrali algoritmiche nella speranza di raccogliere fondi, prima che altri concorrenti si trovino nella stessa frenetica corsa, con una promessa: rivelare una presunta verità naturale e immanente catturata nelle correlazioni dell'apprendimento automatico. Tuttavia, si tratta di costosi colossi dalle fondamenta estremamente fragili quando si tratta di decisioni giudiziarie: i sistemi giuridici rimangono molto aperti e un'inversione di tendenza può invalidare decenni di paziente costruzione giurisprudenziale. Questa instabilità pone un problema fondamentale per gli algoritmi che si basano soprattutto sulle statistiche degli eventi passati.

In opposizione, l’argomento spesso invocato dai sostenitori dell’apprendimento automatico è che non si potrebbe (e non si dovrebbe) concepire l'evoluzione di domani rimanendo fissi sui nostri attuali punti di riferimento. Su questo non possiamo dargli interamente torto, ma non per i motivi che immaginano. La trasformazione di fondo realmente in atto, puro prodotto di una strana combinazione di filosofia neoliberale e libertaria, è sostituire un quadro di riferimento con un altro: l'idea è quella di sostituire lo stato di diritto con altri meccanismi normativi che dovrebbero essere più efficaci nel garantire il funzionamento della nostra società. Ed è qui che si trova la sfida principale del nostro tempo: l'IA è in realtà solo un avatar, tra gli altri, di un'ambizione molto più globale che pone una sfida democratica senza precedenti: una società basata sui dati (data driven society), che sostituisce gradualmente lo stato di diritto che abbiamo costruito nei secoli passati.

Sebbene imperfetta, la legge è soprattutto l'espressione collettiva di un progetto sociale, specchio delle priorità che un popolo vuole porsi e il cui valore e interesse vengono discussi tra rappresentanti eletti in grado di trovare un equilibrio tra interessi contrastanti. L'intelligenza artificiale, e gli algoritmi in generale, ci impongono, attraverso un formalismo scientifico dalle apparenze neutre, una nuova razionalità che è nella realtà.... quella dei loro progettisti. In altre parole, la democrazia è confiscata da una nuova forma di aristocrazia, il digitale, che sembra essere di per sé sufficiente a definire concetti semplici come bene o male[40]. Alla fine, questo progetto non è molto lontano da quello della fisica sociale immaginato da Adolphe Quételet: il matematico belga del XIX secolo considerava l'uomo come libero ma riteneva che "ciò che porta con sé di disturbo nelle leggi della natura non può in alcun modo alterare queste leggi, almeno in modo permanente". Ponendo così le basi per un'analisi sistematica dei fenomeni sociali attraverso la statistica, aveva l’ambizione di realizzare un progetto con accenti perfettamente totalitari: l'elaborazione di una "statistica morale" che esaltava l’asse di un uomo medio attorno al quale ognuno avrebbe dovuto fare riferimento.

Una lettura politica della trasformazione digitale sembra quindi oggi imperativa per chiarire, nei dibattiti pubblici, le vere sfide poste dalla tecnologia digitale; ed è chiaro che non sono gli strumenti a essere in gioco, ma ciò che pretende di fare con essi. Un inquadramento appare dunque essenziale, che si tratti inizialmente di soft law o di metodi molto più restrittivi, come il RGPD[41]. Tuttavia, esso dovrà essere realizzato nella consapevolezza di un'altra realtà, che stempera forse l’urgenza: il divario ancora esistente tra le ambizioni dell'intelligenza artificiale nel campo della giustizia e le sue realizzazioni, molto settoriali e non generalizzabili, che richiedono da un lato altissimi livelli di risorse umane tecniche e dall’altro, investimenti finanziari relativamente consistenti. Migliore alleata dei discorsi ideologici descritti precedentemente, l'IA rischia quindi di confrontarsi più rapidamente del previsto alla sua reale capacità di generare profitto. Nella seconda edizione della sua relazione sull'IA nelle imprese, l'Istituto Deloitte rivela che gli introiti dell'IA sembrano estremamente eterogenei a seconda dei settori di attività[42]. Mentre le aziende tecnologiche pionieristiche sembrano realizzare profitti significativi (oltre il 20%), quelli delle scienze naturali e della salute sono molto più modesti (13%). Nel nuovo "mercato legale", la viabilità economica è ancora molto discutibile per gli investitori, e le legaltechs che hanno ottenuto una raccolta di fondi relativamente importante dovrebbero rimanere molto attente al contenuto delle loro promesse.... alcune delle quali forse non veranno mai realizzate, anche aprendo il rubinetto dell’ open data.

[1] Cioè utilizzando un ragionamento e delle equazioni matematiche.

[2] Vedi, ad esempio, P. Jensen, Transformer le monde en chiffres, c’est une opération très subjective, in Libération, 4 maggio 2018.

[3] C. O'Neil, Weapons of Math Distruction, Crown, 2016.

[4] M. Chalabi, Weapons of Math Destruction: Cathy O'Neil adds up the damage of algorithms, in The Guardian, 27 octobre 2016. www.theguardian.com/books/2016/oct/27/cathy-oneil-weapons-of-math-destruction-algorithms-big-data .

[5] A questo proposito, le paure di distruzione dell'umanità da parte dell'IA caratterizzano abbastanza bene questa forma di allarmismo. Si veda ad esempio S. Hawking, S. Russel, M. Tegmark, F.Wilczek, Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?, in The Independent, 1 mai 2014 - https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html .

[6] Douglas Lenat, ricercatore di intelligenza artificiale e direttore della società Cycorp.

[7] Yann LeCun, Qu'est-ce que l'intelligence artificielle, Collège de France - Accesso al sito web del Collège de France il 16 giugno 2017: www.college-de-france.fr/media/yann-lecun/UPL4485925235409209505_Intelligence_Artificielle______ Y._LeCun.pdf.

[8] Questa distinzione è stata fatta da John Searle negli anni Ottanta, quando è stata introdotta la differenza tra un sistema che avrebbe avuto una mente (in senso filosofico) e avreebbe potuto produrre pensiero e un sistema che può solo agire (anche se dà l'impressione di poter pensare).

[9] Sulla pertinenza dei discorsi commerciali, vedi J. Scott Brennen, An Industry-Led Debate: How UK Media Cover Artificial Intelligence: University of Oxford, Reuters Institute for Study of Journalism, 13 dicembre 2018.

[10] Questo termine può essere definito come una sequenza finita ed inequivocabile di istruzioni logiche per risolvere un problema. I sistemi esperti, come i sistemi basati sull'apprendimento automatico, funzionano su computer utilizzando algoritmi (o codici informatici).

[11] D. Cardon, J-P. Cointet, A. Mazières, La revanche des neurones. . L’invention des machines inductives et la controverse de l’intelligence artificielle : Réseaux 2018/5, p. 173-220.

[12] Le basi delle reti neurali sono state sviluppate negli anni '40 da Warren McCulloch e Walter Pitts (Created a computational model for neural networks based on mathematics and algorithms called threshold logic, 1943).

[13] Questi sistemi diventavano difficili da mantenere oltre 200-300 regole, sia per ragioni di prestazioni che di manutenzione.

[14] Il teorema di Thomas Bayes, esteso da Pierre-Simon Laplace, risale al XVIII secolo.

[15] Vedi ad esempio AlphaGo Chronicles che descrive come Deepmind è riuscito ad allenare un'IA per battere il miglior giocatore umano nel 2016. La progettazione di tale strumento non si limita al semplice inserimento dei dati in un computer, ma giustifica la mobilitazione di un intero team di ingegneri per progettare, testare e calibrare diversi livelli di algoritmi. www.youtube.com/watch?v=8tq1C8spV_g 

[16] L. Butterfield, Leading academics reveal: what are we getting wrong with AI?, Oxford University, 15 octobre 2018 - /www.research.ox.ac.uk/Article/2018-10-15-leading-academics-reveal-what-are-we-getting-wrong-about-ai?fbclid=IwAR10KJv2UhcHPQQeKhDGJKL0XYsqpcs6Sev7HDLMvGRBuUTf6y7UQSkjZ5k

[17] P. Jensen, Pourquoi la société ne se laisse pas en equation, Editions du Seuil, 2018.

[18] Y. Katz, Manufacturing an Artificial Intelligence Revolution, SSRN, 17 novembre 2017 https://ssrn.com/abstract=3078224 o http://dx.doi.org/10.2139/ssrn.3078224 .

[19] Questo obiettivo giustifica anche l'intensa attività di lobbying svolta dagli editori legali e dalle legaltechs sull'apertura totale dei dati giudiziari, prevista dagli articoli 20 e 21 della legge per una repubblica digitale del 7 ottobre 2016, i cui decreti applicativi non sono ancora stati pubblicati.

[20] Sulla confusione tra correlazione e causalità, si veda in particolare D. Cardon, A cosa servono gli algoritmi? La nostra vita nell'era dei grandi dati, Threshold, The Republic of Ideas, 2015.

[21] Commissione europea per l'efficacia della giustizia (Cepej), Consiglio d'Europa, Carta etica europea sull'uso dell'intelligenza artificiale nei sistemi giudiziari ed in ambiti connessi: www.coe.int/fr/web/cepej/cepej-european-ethical-charter-on-the-use-of-artificial-intelligence-ai-in-judicial-systems-and-their-environment. 

[22] I concetti qui presentati sono stati sviluppati in modo più sostanziale in Y. Leader, Quale futuro per la giustizia predittiva: JCP G 2018, dottrina 190.

[23] Si veda la famosa figura del romanzo a catena proposto da Ronald Dworkin (L'empire du droit, 1986, traduzione francese 1994: PUF, coll. political research, pp. 251-252).

[24] Lavori su un campione di 584 decisioni della Corte europea dei diritti dell'uomo: N. Aletras, D. Tsarapatsanis, D. Preoţiuc-Pietro, V. Lampos, Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective, 24 ottobre 2016 - https://peerj.com/articles/cs-93/

[25] Precisazioni nel senso che il tasso di riproduzione delle decisioni scende al 62% quando l'apprendimento si concentra sulla parte di ragionamento giuridico di applicazione della Convenzione (lanciare una moneta in aria offre circa il 50% di ottenere un risultato determinato).

[26] Ciò è stato ricordato dalla Corte di Cassazione per quanto riguarda le scale di pensioni alimentari (Cass. 1° civ., 23 ottobre 2013, n° 12-25.301: JurisData n° 2013-023208).

[27] I concetti qui presentati sono stati ulteriormente sviluppati anche in Y. Meneceur, Quel avenir por une justice prédictive, op. cit.

[28] M. Benesty, L'impartialité des juges mis à mal par l'intelligence artificielle in Village de la justice, Tribunes et point de vue du 24 mars 2016; www.village-justice.com/articles/impartialite-certains-juges-mise,21760.html - il contenuto del sito Supralegem.fr non è più accessibile e l'indirizzo reindirizza a dalloz.fr

[29] Missione di studio e prefigurazione affidata al professor Loïc Cadiet il 9 maggio 2017 dal Ministro della giustizia, le cui conclusioni sono state rese note il 9 gennaio 2018; www.justice.gouv.fr/publication/open_data_rapport.pdf (pagina consultata il 20 gennaio 2018).

[30] Su questa domanda, si veda. N. N. Regis, Juger, est-ce interpréter?, in Philosophical Papers, Canopé ed., 2016, n° 147, p. 36-37.

[31] Si veda il sito web Spurious Correlation che elenca un gran numero di correlazioni fuorvianti, come un tasso di corrispondenza di oltre il 99% tra il 2000 e il 2009 tra il numero di divorzi nello Stato del Maine e il consumo pro capite di margarina - http://tylervigen.com/spurious-correlations .

[32] É. Buat-Ménard e P. Giambiasi, La mémoire numérique des décisions judiciaires: D. 2017, pag. 1483.

[33] Voir I. Daubechies, Machine Learning Works Great - Matematici Just Don't Know Why, Wired, 12 décembre 2015 - www.wired.com/2015/12/machine-learning-works-greatmathematicians-just-dont-know-why/ .

[34] A questo proposito, Y. Meneceur, Les systèmes judiciaires européens à l’épreuve de l’intelligence artificielle, in Revue de la prospective et de l’innovation, octobre 2018, pp11-16 ; C. Barbaro, 30 juillet 2018, Intelligence artificielle et procès pénal, in Les Temps Electriques https://lestempselectriques.net/index.php/author/cbarbaro/ 

[35] Correctional Offender Management Profiling for Alternative Sanctions è un algoritmo sviluppato dalla società privata Equivant (ex-Northpointe): http://www.equivant.com/solutions/inmate-classification.

[36] Practicioners’ Guide to COMPAS Core, Northpointe, 2015. http://www.northpointeinc.com/downloads/compas/Practitioners-Guide-COMPAS-Core-_03191915.pdf .

[37] Lo studio e la sua metodologia sono disponibili online: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing .

[38] B. Louvel, discorso di apertura della conferenza "La jurisprudence dans le mouvement de l’open data ", 14 ottobre 2016. www.courdecassation.fr/IMG///Open%20data,%20par%20B%20B%20Louvel.pdf 

[39] E. Sadin, Intelligence Artificielle: Resistons à la "Main invisible automatisée", Le Monde, 22 febbraio 2018.

[40] Lo slogan di Google è stato fino al 2018 "non essere malvagio" (da allora è stato rimosso dal codice di condotta della società); Microsoft ha incoraggiato i leader mondiali dalla fine dell'anno alla pace informatica (digital peace).

[41] La questione della regolamentazione non sarà sviluppata in questa sede, si veda su questo argomento Y. Meneceur, Les systèmes judiciaire européens à l’épreuve de l'intelligence artificielle, op. cit.

[42] Deloitte Insights, State of AI in the Enterprise, 2nd Edition, 22 octobre 2018. www2.deloitte.com/insights/us/en/focus/cognitive-technologies/state-of-ai-and-intelligent-automation-in-business-survey.html