La logica imperfetta al cuore della fantasia dell'automazione

La tecnologia non risolve in termini di fiducia, responsabilità o lavoro: sposta la responsabilità dai sistemi ai singoli individui.

In tutti i settori privato, pubblico e senza scopo di lucro, una ricetta comune viene applicata ai crescenti depositi di dati: interoperabilità → integrazione → ottimizzazione → automazione.

Promettendo di inaugurare un'era di "città intelligenti", "servizi efficienti" e "svago illimitato", l'automazione è la fantasia che guida l'attuale rivoluzione nel mondo degli affari e della burocrazia.

Sei sopraffatto dall'enorme quantità di informazioni (identificabili personalmente e altrimenti) generate dalle tue operazioni nell'era digitale? Non temere, l'era dell'automazione è qui.

Uno stack per risolverli tutti

L'automazione promette conformità (economica). Adora l'altare dell'efficienza. Dipinge i tuoi malvagi problemi come debugabili e i tuoi sistemi complessi come un insieme di relazioni causali lineari che aspettano solo di essere districate. Non distingue tra i tipi di problemi e processi affrontati dalle istituzioni private rispetto a quelle pubbliche. Non solo estrarrà i tuoi dati per i diamanti, ma anche tagliare e lucidare le pietre. In parole povere, "cambierà il mondo".

Le organizzazioni non stanno solo mobilitando i propri dati. Le migliori intuizioni derivano dall'analisi di enormi quantità di dati provenienti da diverse fonti. Questo è il motivo per cui le agenzie del settore pubblico stanno raggruppando i dati tra servizi e perché le aziende dei consumatori stanno divorando le informazioni personali dei loro clienti. Come citato dal New York Times, le società americane hanno speso quasi $ 20 miliardi nel 2018 per l'acquisizione e l'elaborazione dei dati dei consumatori. La logica promessa di quella spesa va in questo modo:

Nel passaggio 1, interoperabilità, i dati sono resi leggibili e digeribili dalla macchina. Quasi passati sono i giorni della digitalizzazione manuale dei PDF. Una crescente gamma di strumenti tra cui scanner, computer vision e algoritmi di elaborazione del linguaggio naturale sta migliorando nel raccogliere anche i substrati di dati più disordinati e nel rigurgitare i dati estratti e compilati, pronti per l'analisi. Con l'analisi dei grafici, anche i set di dati più disparati possono essere stratificati per il mining.

Nel passaggio 2, l'integrazione, i dati provenienti da sistemi separati vengono riuniti e resi accessibili attraverso interfacce, dashboard e database. Ricercatori longitudinali, gioite! I silos sono spanning. I grafici vengono analizzati. Le relazioni precedentemente invisibili sono modellate e visualizzate. Le tendenze sono annunciate, la loro forza e direzionalità sezionate e servite come tanta “intuizione”.

Nel passaggio 3, l'ottimizzazione, gli algoritmi sono stratificati nello stack che promette di fare cose come "consigliare", "personalizzare" e "prevedere" molto meglio di quanto un semplice umano possa o possa mai fare. Al posto del complicato coinvolgimento delle parti interessate con i suoi dibattiti disordinati sui valori, questi algoritmi prendono spunto dalla logica delle nostre decisioni passate e dalle narrazioni dominanti - dal capitalismo e dall'istituzionalità neoliberista. Guidano verso l'efficienza. Guidano verso la crescita. Se i sistemi precedenti che generavano i loro input di dati storici fossero sostenibili, equi o equi, anche gli algoritmi potrebbero esserlo. In caso contrario, continua: accelera il collasso.

Nel passaggio 4, l'automazione, ai nuovi algoritmi vengono assegnate nuove responsabilità. Costruito su uno stack che già pretende di comprendere meglio le dinamiche e le relazioni del sistema, ora offre la riorganizzazione dei meccanismi di responsabilità e delle strutture decisionali. Determinano l'affidabilità creditizia. Assegnano benefici sanitari. Predicano l'accesso ai servizi pubblici - su comportamenti precedentemente ortogonali o sulla capacità di uno di dimostrare la propria identità.

Ahimè. Nel breve termine, almeno, la terra promessa sembra tentare di creare un account digitale DHS in Arkansas, e sfortunatamente non è carino.

"Il futuro è già qui - distribuito in modo non uniforme"

Dal mio attuale trofeo nella filantropia, vedo il cambiamento avvenire ovunque - a velocità diverse in luoghi diversi, alterando il terreno per il lavoro che vogliamo fare attraverso settori e regioni - a volte insidiosamente, sempre inesorabilmente.

In passato, ho lavorato nel settore pubblico (Cebrowski Institute del DoD), nel settore privato (ricerca sindacata su futures tecnologici) e nella consulenza intersettoriale (sviluppo di ecosistemi di innovazione per concorsi a premi). In un tempo relativamente breve, sono tornato al punto di partenza dall'appassionato di tecnologia (a 24 anni, mi sono descritto in una domanda di lavoro come un "evangelista indossabile") a cauto scettico della capacità della tecnologia di intervenire positivamente nei sistemi umani.

L'anno scorso, ero a un incontro su Sand Hill Rd., Battendo il mio tamburo sul centrare l'etica e l'equità nello sviluppo di sistemi del settore pubblico automatizzato, quando un finanziatore e un appassionato di integrazione dei dati hanno chiesto molto seriamente: “Perché continui a tirarlo su - tipo, cosa potrebbe andare storto? "

A questo punto, dal mio punto di vista, si tratta meno di ciò che potrebbe andare storto e di più di ciò che già ha. C'è qualcosa di marcio al centro della fantasia dell'automazione.

L'automazione prende molti nomi ("intelligenza artificiale", "processo decisionale algoritmico", ecc.) Ma ama nascondere la sua vera natura. Ecco alcune delle tante facce che indossa.

Immondizia dentro, Immondizia fuori.

E la maggior parte è spazzatura.

Certo, i "big data" hanno rivelato correlazioni e relazioni che consentono la monetizzazione, la creazione di valore e una migliore erogazione del servizio (forse meno di quanto si pensi). Ma questo è in gran parte nonostante la qualità e la veridicità dei dati, non per questo.

Per citare uno dei tanti malintesi, ciò che stiamo costruendo non è in realtà un'intelligenza artificiale, è un'intelligenza umana (imperfetta) alla scala di macchinari della società industriale - sì, l'uomo dietro il sipario si sta ancora torcendo alle manopole della civiltà. E sì, è davvero un uomo bianco che indossa pantaloncini cargo con calze e sandali in Palo Alto.

La pianificazione spesso si maschera da previsione.

Su scala, gli algoritmi creano il futuro che prevedono.

Quando le macchine fanno una previsione accurata, è un trionfo dello status quo, non della lungimiranza.

Più spesso, come con gli umani, fanno profezie che si autoavverano. Serviranno più o meno allo stesso modo, più velocemente questa volta, in modo più accurato e con meno input necessari. Per consigliare cosa guardare dopo su Netflix, questo è davvero fantastico. Non aspiro a smettere di amare i film di fantascienza con un forte vantaggio femminile. (Nel caso in cui non sia penetrato nella tua bolla filtro, non dormire nel classico dell'accampamento istantaneo The Pyramid.)

Ma quando si tratta di erogare servizi pubblici e sistemi che hanno un impatto reale su famiglie e mezzi di sussistenza, è una storia diversa. Perché dovremmo modellare intenzionalmente il futuro processo decisionale su schemi passati, che sappiamo essere sistematicamente distorti, ingiusti, iniqui, discriminatori e in molti casi ideologicamente irresponsabili, se non pericolosi? Certo, gli algoritmi sono abbastanza bravi a imparare dai modelli passati per proiettare decisioni future. Ma in una miriade di sistemi, questa è l'ultima cosa che dovremmo desiderare che facciano.

L'attrito è il motore della stabilità e del progresso.

I sistemi sani prosperano al limite del caos.

L'automazione arriva sotto la bandiera del "progresso", ma si rivela un agente di stagnazione.

L'attrito - la lotta - è teorizzato per essere la forza trainante nell'evoluzione biologica, nell'uso degli strumenti e nello sviluppo tecnologico, in un sistema immunitario fiorente e altro ancora. Eppure nel ricettario dell'automazione, è il primo nella lista delle sostituzioni di ingredienti.

Stufo di dover fare le tue ricerche? Gli algoritmi estrarranno vasti archivi di informazioni, quindi non è necessario. Stufo di aspettare in fila? Gli algoritmi possono ottimizzare l'orario di arrivo. Stufo di comporre le risposte come parte della comunicazione umana di base? Gli algoritmi possono suggerire una risposta che è stranamente solo per te.

Ma cosa c'è in ballo in questa corsa per lubrificare ogni nostra (trans) azione? Cosa potrebbe andare perduto se non dovremo più aspettare, soffrire la noia, lottare, pensarci o persino provare?

L'ottimizzazione e l'influenza sono forme sottili di controllo.

Prendendo in prestito da modelli di business ad-tech, il gioco finale dell'automazione in una società capitalista non sta solo vendendo più cose, ma in realtà progettando comportamenti umani.

L'infrastruttura di data mining alla base dell'automazione è la stessa che supporta Surveillance Capitalism e vuole smussare la nostra agenzia, derubarci del nostro santuario e cancellare la nostra imprevedibilità. Come dice Shoshana Zuboff, “Dimentica il cliché che se è gratuito sei il prodotto - non sei il prodotto, ma semplicemente la fonte gratuita di materia prima da cui i prodotti sono fatti per la vendita e l'acquisto ... Non sei il prodotto, tu sono le carcasse abbandonate. "

In "Algorithm and Blues: The Tyranny of the Coming Smart Tech Utopia", Brett Frischman descrive alcune delle ideologie alla base di "smart tech" e automazione:

"Presumibilmente, smartphone, reti, automobili, case, abbigliamento e così via renderanno la nostra vita più facile, migliore, più felice. Queste affermazioni sono profondamente radicate in una visione utopica smart-tech che si basa su precedenti visioni tecno-utopiche come il cyber-utopianismo, nonché su visioni economico-utopiche come l'idea coaseana di mercati perfettamente privi di attrito e la visione taylorista di lavoratori gestiti scientificamente e perfettamente produttivi. Nel nostro moderno mondo in rete digitale queste visioni si muovono ben oltre i contesti originali di Internet, mercati e luoghi di lavoro idealizzati. La tecnologia intelligente può gestire molto di più della nostra vita. "

Non c'è magia nell'apprendimento automatico.

Solo uno e zero, grafici e correlazioni.

Non c'è magia nell'apprendimento automatico, solo un flusso a cascata di processi decisionali abdicati (e quindi responsabilità). Certo, gli squilibri di potere insiti in un mondo in cui alcuni umani prendono decisioni per conto di altri umani (per non parlare di non umani) sono molto problematici, ma siamo davvero così sicuri che equazioni matematiche glorificate faranno un lavoro migliore?

Parlando con il New York Times, il nonno della programmazione informatica Donald Knuth ha recentemente ammesso: “Sono preoccupato che gli algoritmi stiano diventando troppo importanti nel mondo. È iniziato che gli informatici erano preoccupati che nessuno ci stesse ascoltando. Ora sono preoccupato che troppe persone stiano ascoltando ".

È chiaro che molti decisori hanno già acquisito la fantasia che le macchine siano più adatte a fare delle scelte di noi. Il codice viene incaricato di importanti sistemi e decisioni, in molti casi senza nemmeno pensare ai processi di ricorso o giudizio. Chi può permettersi una lunga battaglia legale per cercare ricorso dopo che un algoritmo difettoso nega la propria assistenza sanitaria? Ironia della sorte, solo quelli il cui reddito impedisce loro di avere accesso ai servizi pubblici.

Chi vince - e chi perde - in un mondo automatizzato?

L'automazione promette di inaugurare forme completamente nuove di disuguaglianza.

Sempre più spesso, l'accesso ai servizi che mettono in modo esplicito un volto umano nell'automazione dell'erogazione dei servizi viene venduto a un prezzo premium. E in un mondo automatizzato, la privacy e il santuario sono privilegi per cui paghi.

“Meglio non significa mai meglio per tutti. Significa sempre peggio per alcuni. ”- Margaret Atwood

Per un'anteprima di chi ha intenzione di vincere il gioco lungo, dai un'occhiata ad alcuni dei più vocali sostenitori dell'automazione:
+ La Inter-American Development Bank (IDB) sta promuovendo l'uso dell'analisi predittiva nel settore pubblico, parte di un feticcio in corso noto anche come "dati per lo sviluppo".
+ Per IBM, i dati sono il nuovo petrolio. Per le aziende di software aziendali, l'automazione è ciò che serve per la cena e il settore pubblico è un enorme mercato emergente.
+ Come abbiamo sentito da Mark Zuckerberg di Facebook quando (debolmente) sfidato dal Congresso su quasi tutti i problemi con la piattaforma che ora media il consumo globale di informazioni (inizialmente progettato per ridurre l'attrito associato al controllo delle ragazze matricole): gli algoritmi lo risolveranno.
+ Grandi società di consulenza come Accenture trarranno vantaggio da quella che chiamano la loro "visione tecnologica". Questa settimana, McKinsey è sotto il fuoco per aiutare e legittimare i governi autoritari.

Fondamentalmente, ci sono compromessi impliciti in un futuro automatizzato. Viene venduta una distinta base basata sul valore di efficienza presunto, ma realizziamo compromessi invisibili in termini di equità. Ci viene promessa la libertà dall'attrito, ma finiamo per perdere la serendipità. I nostri sistemi ottimizzano l'allocazione delle risorse, ma solo rendendoci costantemente sorvegliati e sempre più responsabili della gestione delle nostre interazioni con il sistema. Attendiamo con impazienza un futuro in cui la fatica è a carico delle macchine, ma facciamo fatica a immaginare di aggrapparci alla dignità umana e alle vite significative. Siamo sedotti dalla logica della misurazione e della valutazione semplici, ma dimentichiamo che non tutto ciò che conta può essere misurato.

La disuguaglianza strutturale si trova esattamente nel punto cieco analitico dell'automazione.

L'eccessiva dipendenza dall'analisi dei dati dà la priorità funzionale ai tipi di correlazioni che l'algebra lineare è brava a individuare - ma non quelli derivanti da complesse dinamiche del sistema.

Ormai, algoritmi distorti sono un problema ben noto. Poiché dipendono da dati passati, sono soggetti a codificazione di modelli errati, basati su una raccolta di dati errati, sulla distribuzione storica iniqua dei servizi (e quindi sulla sorveglianza delle popolazioni a basso reddito e delle minoranze) e su presupposti preconfezionati. Possiamo vedere le prove di questo pregiudizio nei risultati razzisti e sessisti degli sforzi di automazione in tutti i settori.

Ma con tutta l'attenzione rivolta all'introduzione di equità, responsabilità e trasparenza nell'apprendimento automatico, non riusciamo ancora a vedere la foresta per gli alberi. In particolare, i tentativi di correggere i pregiudizi negli algoritmi in genere non tengono conto delle disuguaglianze strutturali. Poiché è intriso e nato da dati storici, l'automazione sa solo come approfondire le scanalature dei modelli esistenti, valutando solo quelle variabili che sono state isolate per la misurazione e quindi rese significative attraverso la loro relazione con altre metriche.

Ma è proprio l'ecosistema strutturale in cui viene implementata l'automazione che dovremo problematizzare e affrontare se vogliamo mantenere la promessa di strumenti analitici. Legittimamente resistente all'analisi statistica, l'acqua in cui nuotiamo - un ricco spezzatino pieno di narrative di dominio, ideologie di crescita e consumo, false dicotomie fondamentali, altro dilagante, disinformazione onnipresente e fatalismo ecologico - è qualcosa di cui possiamo intravedere i confini ma trascende appena.

Con l'automazione, la trascendenza non è in offerta. Ottimizzazione, sì. Mitigazione, forse. Soluzioni, solo nel nome. Invece, la fantasia dell'automazione porta l'ethos dell'eccezionalismo e l'arrogante fascino della "fine della storia". La fantasia dell'automazione suggerisce di utilizzare l'analisi per bloccare le strutture dello status quo. È una visione particolare del "progresso". Le cose potrebbero andare molto meglio, suggerisce, purché la distribuzione ad alto livello di potere e risorse rimanga praticamente la stessa.

Osservando gli algoritmi che promettono di rivoluzionare l'assistenza sanitaria, Shannon Mattern scrive:

Inoltre, la cieca fiducia che la raccolta di dati onnipresenti porterà a "scoperte a beneficio di tutti" merita scetticismo. Gli studi empirici su larga scala possono rafforzare le disparità sanitarie, specialmente quando le analisi demografiche non sono basate su ipotesi specifiche o quadri teorici. L'etica Celia Fisher sostiene che studi come il Progetto Umano debbano definire chiaramente "cosa significano classe, razza e cultura, tenendo conto del modo in cui queste definizioni vengono continuamente modellate e ridefinite dalle forze sociali e politiche" e come alcuni gruppi sono stati emarginati, anche patologizzato, nel discorso e nella pratica medica. I ricercatori che traggono conclusioni sulla base di correlazioni osservate - non teorizzate e non storicizzate - corrono il rischio, "dice, di" attribuire problemi di salute a disposizioni genetiche o culturali in gruppi emarginati piuttosto che a politiche che sostengono disuguaglianze sistemiche di salute politica e istituzionale ". Shanhan Mattern, "Databodies in Codespace"

L'automazione sposta l'onere della responsabilità lontano dai sistemi e sulle persone.

Il mito del tempo libero illimitato attraverso l'automazione suona già falso.

In un mondo automatizzato, i processi sono stati riprogettati non per migliorare l'esperienza dell'utente, ma per aumentare i margini di profitto e / o ridurre le spese di capitale umano.

Ma come mostra la ricerca di Karen Levy sugli autotrasporti, l'automazione non sostituisce gli umani quanto li invade. Come un ex-partner violento, sorveglia, invade, sorveglia e manipola, richiedendo un accesso intimo al corpo e chiedendo un crescente accesso alla mente.

Senza intervento, quelli già ai margini saranno ulteriormente emarginati. E quando l'automazione viene implementata al servizio dello status quo, il valore viene estratto e / o il lavoro invisibile richiesto da ogni persona che interagisce con i sistemi automatizzati.

La paziente è ora coordinatrice e sostenitrice delle sue cure. Il consumatore viene attivamente consumato nel ciclo di consumo in corso. Il cittadino è ora arbitro della propria verità e curatore del proprio significato. In tutti i settori, il lavoro invisibile (e non retribuito) ora necessario per navigare nei sistemi in cui siamo indissolubilmente coinvolti, ci rivela - l'individuo - sempre più responsabile e sempre più mercificato negli atti di consumo, cittadinanza e ricerca della salute e del benessere.

Non esiste una tecnologia neutra.

Nella gerarchia frattale della tecnologia di automazione, i valori invisibili sono incorporati ovunque guardi.

Ci sono valori - valori morali - in ogni scelta progettuale, in ogni processo di implementazione, in ogni cambiamento della cultura organizzativa e in ogni impatto sul processo decisionale dell'utente finale.

L'inquadramento dell'automazione come "correzione tecnica" o inevitabile applicazione della tecnologia oscura le antiche basi filosofiche e morali degli algoritmi di apprendimento automatico impliciti nello stack di automazione, troppo spesso in esecuzione su un pilota automatico al posto di conversazioni difficili e inclusive sui valori che resistono alla quantificazione e alla misurazione.

Quando si tratta di tecnologia di automazione, non dovremmo mai assumere la neutralità, per non parlare dei progressi positivi. Ciò è particolarmente importante quando si tratta di integrazione e automazione dei dati nel settore pubblico. La stessa infrastruttura tecnica costruita per supportare la trasparenza del governo può essere facilmente implementata per il controllo sociale. Gli stessi strati analitici che promettono di rendere i sistemi di giustizia penale più giusti possono anche essere utilizzati per riempire le prigioni private di cittadini emarginati. E gli stessi meccanismi di sorveglianza che promettono di migliorare la sicurezza pubblica possono essere mobilitati per limitare l'accesso dei cittadini ai servizi.

La Cina sta promuovendo il suo sistema di credito sociale, letteralmente basato sulla frase del governo "una volta inaffidabile, sempre limitata", come un modo per migliorare la fiducia dei cittadini nel governo. Lo scorso anno, funzionari cinesi hanno incontrato controparti in almeno 36 paesi specificamente per condividere il loro approccio ai "nuovi media o alla gestione delle informazioni" (leggi: controllo digitale). In Messico, dove già solo il 2% dei cittadini crede di vivere in piena democrazia, la trasparenza accelera davanti alla responsabilità, lasciando sulla sua scia non solo la verità, ma anche il cinismo e il disimpegno. In Brasile, un sistema di dati integrato pubblico noto ed espansivo, costruito per automatizzare l'erogazione dei servizi sociali, viene collegato ai dati sull'occupazione del settore privato, proprio come un ufficio di linea dura che si è fatto un incantesimo sulla dittatura militare. In Kenya, il governo ha deciso di catalogare il genoma di ogni cittadino e la geometria del lobo dell'orecchio. E negli Stati Uniti si stanno costruendo sistemi di dati integrati pubblici che toccheranno presto la maggior parte dei cittadini.

Per essere chiari, molti dipendenti pubblici dedicati che gestiscono i nostri servizi pubblici accolgono giustamente l'integrazione dei dati; anche ottenere l'accesso a dashboard di dati in tempo reale all'interno della propria agenzia è ancora una prospettiva avvincente in molti distretti. Esiste tuttavia un'utile distinzione tra i dati utilizzati per migliorare i risultati attraverso la ricerca rispetto ai dati utilizzati per la gestione dei singoli casi, analisi predittiva, supporto decisionale e erogazione automatizzata del servizio. Sono preoccupato che le aziende tecnologiche stiano vendendo il settore pubblico in una visione di automazione i cui strumenti incorporano valori di capitalismo, non di sostenibilità; efficienza, non equità; status quo, non giustizia. E da notare, indipendentemente dal numero di best practice seguite nella progettazione e nell'implementazione (come nel sistema di dati integrato nella Contea di Allegheny, Pennsylvania), ci sono almeno due lati di ogni storia di automazione.

Tutte le immagini qui fornite da Daniel Rehn su Flickr

In ogni luogo in cui guardi, la fantasia dell'automazione sta trovando l'acquisto e un terreno fertile per piantare i suoi semi. Nonostante il clamore clamoroso proveniente dalle aziende tecnologiche aziendali, spesso lo fa in modo silenzioso, insidioso e strategico.

Le comunità interessate vengono lasciate inconsapevoli fino al primo contatto con un processo errato o un'esperienza utente esasperante. Gli IRB universitari sono una cosa che si desidera tranquillamente, eppure da tempo dimenticata nella fretta di spedire. I sistemi vengono sollevati all'ingrosso da un contesto, etichettati in bianco e trasferiti in un altro. Venduti dalla promessa di modernizzazione e progresso, i nostri leader si impegnano a procurarsi un controllo sociale commerciale standardizzato.

Voglio sottolineare che nulla di tutto ciò condanna l'integrazione dei dati, l'analisi dei grafici o l'apprendimento automatico. Questi sono strumenti preziosi in un kit che deve includere anche le scienze sociali e il coinvolgimento delle parti interessate. Ma il contesto in cui vengono distribuiti questi strumenti imposta la dipendenza dal percorso. La fantasia che guida l'acquisto e lo scopo di questi strumenti merita un attento esame. I modelli di business che supportano, i valori incorporati che codificano, il grado di centralità della persona che riflettono, il modo in cui sottilmente spostano la responsabilità tra le parti interessate e le disuguaglianze strutturali che minacciano di bloccare - la materia in profondità. E l'attuale contesto in cui gli strumenti di automazione vengono venduti e distribuiti è profondamente imperfetto.

Impegni per l'impegno della comunità, metodologie di progettazione incentrate sulla persona e approcci di implementazione, revisione etica rigorosa e in corso, inclusione predefinita di scienziati e artisti sociali nei processi di sviluppo, auditing algoritmico e discussione esplicita e inclusiva di quali valori vengono incorporati negli strumenti (particolarmente maturi per la rivisitazione: i compatti sociali inespressi tra cittadini e meccanismi di governance commerciale / legale) potrebbero fare molto per garantire che l'automazione non sia aromatizzata dall'autoritarismo, ma non se rimaniamo addormentati al volante di questa auto a guida autonoma.

Qualcosa è marcio al centro del sogno e dobbiamo urgentemente svegliarci, prima di automatizzare le promesse non mantenute del nostro passato nel tessuto stesso del nostro futuro.