Giudizi e decisioni che hanno effetti rilevanti sulle vite delle persone sono oggi affidati, in un numero crescente di ambiti, a sistemi di intelligenza artificiale che non funzionano. Tali malfunzionamenti non sono occasionali e non sono scongiurabili con interventi tecnici: essi rivelano, anzi, il funzionamento ordinario dei sistemi di apprendimento automatico, utilizzati impropriamente per compiti che non è loro possibile svolgere o che sono impossibili tout court.
Le decisioni basate su tali sistemi sono costitutivamente discriminatorie, e dunque, in alcuni ambiti, infallibilmente lesive di diritti giuridicamente tutelati, in quanto procedono trattando gli individui in base al loro raggruppamento in classi, costituite a partire dalle regolarità rilevate nei dati di partenza. Essendo radicata nella natura statistica di questi sistemi, la caratteristica di dimenticare i «margini» è strutturale: non è accidentale e non è dovuta a singoli bias tecnicamente modificabili. Ci si può trovare ai margini dei modelli algoritmici di normalità in virtù di caratteristiche totalmente irrilevanti, rispetto alle decisioni di cui si è oggetto.
Alla vasta documentazione degli esiti ingiusti, nocivi e assurdi di tali decisioni, le grandi aziende tecnologiche – paventando un divieto generalizzato – hanno risposto, in evidente conflitto di interessi, con un discorso sull'etica: è nata così, come operazione di cattura culturale, con l'obiettivo di rendere plausibile un regime di mera autoregolazione, l'«etica dell'intelligenza artificiale». Si tratta di una narrazione che le aziende commissionano e acquistano perché è loro utile come capitale reputazionale, che genera un vantaggio competitivo; è cioè un discorso, rispetto al quale le università hanno il ruolo, e l'autonomia, di un megafono; è «un'esca per catturare la fiducia» dei cittadini: un discorso pubblicitario che, in quanto declamato da altri, non appare neppure come tale.
La funzione di tale discorso è quella di tutelare, legittimandolo, un modello di business – fondato sulla sorveglianza e sulla possibilità di esternalizzare impunemente i costi del lavoro, degli effetti ambientali e dei danni sociali – il cui nucleo consiste nella vendita, alle agenzie pubblicitarie, della promessa di un microtargeting fondato sulla profilazione algoritmica.
Negli ultimi anni, l'opera di demistificazione della natura meramente discorsiva e del carattere strumentale dell'«etica dell'intelligenza artificiale», che trasforma l'etica nella questione della conformità procedurale a un «anemico set di strumenti» e standard tecnici, è stata così efficace da indurre molti a liquidare come inutile o dannosa – in quanto disarmata alternativa al diritto o vuota retorica aziendale – l'intera filosofia morale.
Al dissolversi della narrazione sull'etica dell'intelligenza artificiale, compare il convitato di pietra ch'essa aveva lo scopo di tenere alla larga: si sostiene infatti ora, da più parti, l'urgenza che ad intervenire, in modo drastico, sia il diritto. L'adozione di sistemi di apprendimento automatico a fini decisionali, in ambiti rilevanti per la vita delle persone, quali il settore giudiziario, educativo o dell'assistenza sociale, equivale infatti alla decisione, in via amministrativa, di istituire delle «zone pressoché prive di diritti umani».
A chi, in nome dell'inarrestabilità dell'innovazione tecnologica, deplori gli interventi giuridici, giova ricordare che il contrasto non è, in realtà, tra il rispetto dei diritti umani e un generico principio di innovazione, ma tra il rispetto dei diritti umani e il modello di business dei grandi monopoli del capitalismo intellettuale.