La Silicon Valley Quest per preservare la voce di Stephen Hawking

Come un team della Silicon Valley ha contribuito a ricostruire il suo caratteristico suono robotico

Patti Price, un consulente di tecnologia vocale, ed Eric Dorsey, un manager di ingegneria, fanno parte del team che ha lavorato per salvare la voce familiare di Stephen Hawking quando l'hardware trentenne che l'ha generata ha iniziato a fallire. Foto: Michael Macor, The Chronicle

Di Jason Fagone

Eric Dorsey, un ingegnere di 62 anni a Palo Alto, stava guardando la TV martedì sera quando ha iniziato a ricevere messaggi sulla morte di Stephen Hawking. Accese la notizia e vide le clip del famoso fisico che parlava con la sua iconica voce androide - la voce che Dorsey aveva trascorso così tanto tempo da giovane aiutando a creare e poi, molto più tardi, a salvare dalla distruzione.

Dorsey e Hawking si erano incontrati per la prima volta quasi 30 anni prima della giornata. Nel marzo 1988, Hawking stava visitando UC Berkeley durante un tour di conferenze di tre settimane.

A 46 anni, Hawking era già famoso per le sue scoperte sulla fisica quantistica e sui buchi neri, ma non così famoso come stava per essere. Il suo best-seller, "A Brief History of Time", era a una settimana di distanza dal rilascio, ei californiani erano curiosi di questo professore britannico dell'Università di Cambridge, che preparava i posti dei suoi discorsi pubblici, avvicinandosi a lui durante i pasti. Hawking si diresse verso gli edifici e sui palchi su una sedia a rotelle con una seduta di pelle di montone marrone, ingrandendosi con la spinta di un joystick, sorridendo mentre lasciava i giornalisti e le sue infermiere nella polvere.

Patti Price, un consulente di tecnologia vocale, sottolinea le vecchie e nuove clip vocali di Stephen Hawking su cui stanno lavorando a Palo Alto. Eric Dorsey e Price fanno parte della squadra che ha corso per salvare la voce di Stephen Hawking. La voce distintiva e robotica del fisico di fama mondiale quando l'hardware trentenne che lo ha generato ha iniziato a fallire. Foto: Michael Macor, The Chronicle

Quando parlava, era nella voce di un robot, una voce che emerse da una scatola grigia fissata allo schienale della sedia. Il sintetizzatore vocale, un prodotto commerciale noto come CallText 5010, era quindi una novità, non ancora parte della sua identità; aveva iniziato a usarlo solo tre anni prima, dopo che la sclerosi laterale amiotrofica della malattia del motoneurone aveva rubato la sua capacità di parlare. Hawking ha selezionato frammenti di testo su uno schermo video spostando la guancia e CallText ha trasformato il testo in discorso. All'inizio di una lezione, Hawking ne ha scherzato: "L'unico problema", ha detto, con grandi risate, "è che mi dà un accento americano".

Dorsey era con Hawking per parte di quel viaggio, trascinandosi come una sorta di autorità sulla voce, spiegandone il funzionamento ai giornalisti. Ha lavorato presso la società Mountain View che ha prodotto CallText 5010, una scheda hardware con due chip per computer che eseguono software personalizzato.

Un 32enne ottimista, Dorsey era tranquillo per natura, ma guidato. Si era unito a Speech Plus come stagista, attratto dalla sua missione di aiutare i senza voce e i disabili; ora guidava un team di ingegneri e nel CallText c'erano almeno 20.000 righe del suo stesso codice, il prodotto che dava voce allo scienziato più celebre della sua epoca.

"Ci stiamo avvicinando a rispondere alle domande secolari", ha detto Hawking al termine di una lezione. "Perché siamo qui? Da dove veniamo? Grazie per avermi ascoltato."

Alla fine del suo tour in California, il fisico diede a Dorsey una copia firmata del suo nuovo libro, la sua impronta digitale premuta sulla copertina interna.

Hawking tornò a Cambridge, Dorsey, nella sua vita in California.

Passarono ventisei anni prima che si incrociassero di nuovo.

Negli anni della tecnologia, questo è un millennio. Internet è successo. La Silicon Valley rimbombò, scoppiò, scoppiò di nuovo. Apple, Amazon, Facebook, Google, Uber.

Dorsey, nel frattempo, lasciò Speech Plus, che fallì e fu venduto a una serie di altre società. Si è sposato e ha avuto figli. Si unì a un tempio buddista. Alla fine ha abbandonato del tutto il campo della tecnologia vocale, diventando un leader di ingegneria presso il produttore di DVR TiVo.

La tecnologia, aveva imparato, si muove così velocemente. "C'è un nuovo iPhone ogni anno", afferma Dorsey. "Tutto ciò che viene sepolto nella pattumiera della storia molto, molto rapidamente."

Ecco perché, quando un'e-mail dell'Università di Cambridge è arrivata all'improvviso nel 2014, Dorsey è rimasto sorpreso. Veniva dall'assistente tecnico di Hawking, Jonathan Wood, che era responsabile dei sistemi di comunicazione di Hawking.

Wood spiegò qualcosa di così improbabile che Dorsey all'inizio ebbe difficoltà a capire: Hawking stava ancora usando il sintetizzatore vocale CallText 5010, una versione aggiornata nel 1986. In quasi 30 anni, non era mai passato alla tecnologia più recente. A Hawking piaceva la voce così com'era, e aveva ostinatamente rifiutato altre opzioni. Ma ora l'hardware mostrava segni di usura. Se fallisse del tutto, la sua voce distintiva sarebbe persa nel tempo.

La soluzione, secondo Wood, era replicare l'hardware in decomposizione in nuovi software, in qualche modo trapiantare un sintetizzatore vocale di 30 anni in un moderno laptop, senza cambiare il suono della voce. Per anni, lui e diversi colleghi di Cambridge avevano esplorato approcci diversi. Cosa pensava Dorsey?

Trent'anni? Pensò. Oh mio Dio.

Non sarebbe facile Potrebbe essere necessario individuare il vecchio codice sorgente. Potrebbe essere necessario trovare i chip originali e i manuali per tali chip. Non potevano più comprarli, le società non esistono. Risolvere il problema potrebbe significare montare uno scavo archeologico attraverso un'era antiquata della tecnologia.

Ma era per Stephen Hawking.

"Facciamolo", ha detto Dorsey.

Il poeta Longfellow una volta scrisse che la voce umana è "l'organo dell'anima". Più di ogni altra parte di noi, la nostra voce esprime chi siamo e le più piccole fluttuazioni oscillano in modi difficili da comprendere per i computer. Parli una frase e l'intonazione aumenta o diminuisce a seconda che tu stia facendo una dichiarazione o ponendo una domanda. Lo fai senza pensare, ma un computer deve fare un'ipotesi.

Le voci sintetizzate di oggi, come Siri di Apple, si basano su librerie preregistrate di suono naturale. I doppiatori registrano enormi librerie di parole e sillabe, e il software le taglia e le riassembla in frasi al volo. Ma 30 anni fa, i computer potevano produrre solo una "versione stilizzata" di una voce umana, afferma Patti Price, specialista del riconoscimento vocale e linguista di Palo Alto.

All'epoca lavorava come postdoc nel laboratorio del Massachusetts Institute of Technology di Dennis Klatt, uno scienziato alto, magro e amante dell'opera originario del Wisconsin. Klatt è il padrino della voce di Hawking. Si è fatto esplodere la gola con i raggi X per misurare la forma della sua casella vocale mentre articolava alcuni suoni, e quindi ha sviluppato un modello di linguaggio software, il modello Klatt, basato sulla sua stessa voce.

Speech Plus ha preso il modello di Klatt, migliorandolo e commercializzato in vari prodotti, tra cui CallText 5010. Uno dei contributi di Dorsey è stato quello di scrivere un algoritmo che controllava l'intonazione della voce, l'ascesa e la caduta di parole e frasi. Speech Plus avrebbe venduto migliaia di sistemi CallText, anche se molti clienti si sono lamentati del fatto che la voce suonasse troppo robotica.

Ma a Hawking è piaciuto.

È vero, era robotico, ma ha apprezzato il fatto che fosse facile da capire: "resistente al rumore", come spiega Price. La forma della sua forma d'onda era più simile a una serie di altipiani che alle ripide scogliere montuose di voci umane, che cadono più bruscamente. La leggera pendenza della voce di Hawking lo fece tagliare il rumore negli anfiteatri e nelle aule. Cominciava spesso i suoi discorsi con la stessa frase: "Mi senti?" - e il pubblico avrebbe risposto con un entusiasta "Sì!"

"Ha un anello che sporge", dice Price.

"È molto comprensibile", afferma Dorsey. "Puoi ascoltarlo a lungo, e non è irritante."

L'unica lamentela di Hawking era che non aveva un accento britannico.

Nel corso degli anni, quando le voci sintetiche sono diventate più naturali, sfruttando chip più veloci e spazio di archiviazione economico, Hawking ha avuto la possibilità di aggiornare. Nel 1996, una società di tecnologia vocale del Massachusetts chiamata Nuance, che aveva acquisito i resti di Speech Plus, ha aggiornato CallText con un codice software evoluto che ha reso la voce più piena e veloce, meno robotica, con pause più brevi tra le frasi - per gli ingegneri, un miglioramento evidente.

Hanno inviato a Hawking un campione della nuova voce, pensando che sarebbe stato contento. Lui non era. Ha detto che l'intonazione non era giusta. Preferiva la voce del 1986, quella modulata dall'algoritmo di intonazione di Dorsey. Hawking si atterrebbe a quello.

"Lo tengo perché non ho sentito una voce che mi piace di più", ha detto una volta, "e perché mi sono identificato con esso." Poteva cambiare con una voce più liscia, ma poi non avrebbe suonato come se stesso.

"Per Stephen, il suo equipaggiamento è come una parte del suo corpo", ha detto Wood, il suo principale aiutante tecnico. "Per aggiornarlo a un nuovo software o un nuovo hardware ... deve cambiare una parte fisica di se stesso."

A partire dal 2009, Wood e molti altri a Cambridge hanno iniziato a cercare di separare la voce di Hawking dall'hardware CallText in avaria. Il gruppo includeva Peter Benie, un guru del computer all'università; Paweł Wozniak, uno studente di ingegneria locale; e Mark Green, un esperto ingegnere elettrico con Intel, che aveva una lunga relazione con Hawking.

Un'opzione che hanno preso in considerazione è stata quella di modificare una moderna voce sintetica come Siri per suonare più come Hawking. Ma i sistemi di tipo Siri si basano sulla vasta potenza del computer dei cloud Internet e Hawking non può essere costantemente legato a Internet. Benie ha anche provato un approccio completamente diverso. Scrisse un emulatore software per CallText - essenzialmente un programma che avrebbe ingannato un PC moderno nel pensare che fosse in realtà il vecchio CallText. Ma i campioni che ha prodotto non sembravano abbastanza fedeli per i gusti di Hawking.

Quando Cambridge raggiunse Dorsey nel 2014, stava studiando una terza strada: rintracciare il vecchio codice sorgente CallText, ora di proprietà di Nuance, e portarlo sul laptop di Hawking, trapiantando la vecchia voce in un nuovo corpo nuovo.

È stato possibile? Dorsey non ne aveva idea. Dipendeva dal fatto che fosse in grado di trovare il codice sorgente o, in mancanza, informazioni che gli avrebbero permesso di decodificare il codice sorgente.

Ha iniziato a inviare e-mail a colleghi che non vedeva da 30 anni, chiedendo se avessero ancora in giro bric-a-brac di CallText: schede, chip, manuali. Un ragazzo ha trovato una vera bacheca CallText nel suo garage. Altri hanno individuato schemi polverosi.

Aveva la sensazione di una folle corsa in un'era precedente della tecnologia. Ma le persone di tutto il mondo hanno colto l'occasione per aiutare. "L'obiettivo è quello di salvare la sua voce", ha detto Dorsey. "Una volta che vai da qualcuno - 'Ho bisogno che tu aiuti a salvare la voce di Stephen Hawking' - si svegliano immediatamente."

Il suo più stretto collaboratore di Palo Alto divenne presto Price, il logopedista che una volta aveva studiato con Klatt, il padrino della voce di Hawking. Era un maestro nell'analisi di campioni audio, nel confronto tra loro e nell'uso delle loro impronte digitali per decodificare il modo in cui devono essere stati creati.

La ricerca archeologica di Dorsey per il vecchio codice si rivelò frustrante. Nessuno a Nuance è stato in grado di trovare il codice sorgente dalla versione 1986 di CallText. Tuttavia, hanno trovato il codice per la versione aggiornata della voce del 1996, su un nastro di backup in un ufficio in Belgio. Dopo alcuni mesi di lavoro, gli ingegneri di Nuance hanno messo in funzione il codice e inviato una serie di campioni audio al team di Hawking, adattando il programma per provare ad abbinare la voce del 1986.

Non ha funzionato del tutto. Per prima cosa, la partita era vicina ma non perfetta. Hawking segnalava sottili differenze che altri avevano difficoltà a discernere. "È come riconoscere la voce di tua madre", disse Price. "Quando le senti al telefono, dicono due sillabe e sai se è giusto o no."

L'altro problema era che Nuance possedeva il codice, non Hawking. Il famoso fisico era sempre stato intento a controllare l'uso della propria voce. Se il team avesse evitato di utilizzare software proprietario, probabilmente Hawking avrebbe avuto un maggiore controllo.

A questo punto, hanno cambiato idea e sono tornati a una delle loro idee originali: emulare CallText nel software, in modo simile a come i PC possono emulare vecchi giochi Nintendo che non sono più venduti.

Il CallText, ovviamente, era una bestia più intricata di una Nintendo, guidata da due chip obsoleti e che interagivano in modo complesso, uno realizzato da Intel e l'altro da NEC. La costruzione dell'emulatore richiedeva prodezze eroiche di programmazione, intuizione e chirurgia ad alta tecnologia. I chip dovevano essere rimossi da una scheda CallText di ricambio con una pinzetta e un cacciavite. Un emulatore per il chip Intel doveva essere scritto da zero, da Benie. Un emulatore separato, per il NEC, è stato preso in prestito da un emulatore Nintendo open source chiamato Higan.

Quindi tutti questi pezzi disparati dovevano essere incollati insieme. Era un po 'come fare un puzzle in una stanza buia. Un chip stava passando un misterioso pacchetto all'altro ogni 10 millisecondi. Perché? Cosa c'era dentro?

Per un po ', è stato difficile. Alcuni dei campioni audio erano così poveri che nessuno osava riprodurli per Hawking.

La svolta è arrivata poco prima di Natale 2017, quando l'emulatore ha finalmente iniziato a produrre suoni che ricordavano la voce familiare che stavano inseguendo. Aveva alcuni difetti minori, ma secondo Price, la voce era una corrispondenza acustica con quella di Hawking, le forme d'onda erano praticamente identiche. L'unica differenza percettibile era la mancanza di ronzio analogico. "È come una versione pulita e lucida della sua voce," dice Price.

Quando Benie lo sentì per la prima volta, uscendo da un computer anziché dalla casella vocale di Hawking, pensò che suonasse più americano della voce di Hawking. Era solo un'illusione auditiva. Benie si rese conto che forse, ogni volta che vedeva Hawking parlare, aveva aggiunto mentalmente un pizzico di britishness.

Nelle settimane successive, a Cambridge e Palo Alto, i membri del team hanno continuato a eseguire il debug della nuova voce, alimentando frammenti di vecchi discorsi Hawking e campioni di testo pieni di virgole casuali, ascoltando i risultati.

Il 17 gennaio, il team si è sentito pronto a dimostrare la nuova voce per Hawking. Wood, Wozniak e Benie andarono a casa di Hawking a Cambridge e gli suonarono dei campioni su un laptop Linux. Con grande sollievo e felicità della squadra, Hawking ha dato la sua benedizione. Sembrava la sua voce.

Avevano ancora bisogno di trasferire la voce sul PC, così temporaneamente, Wood caricò una versione della voce su una scheda hardware in miniatura nota come Raspberry Pi. Pensava che Hawking potesse voler valutare la voce nella vita di tutti i giorni, e il Pi era il modo più rapido per farlo funzionare.

Il 26 gennaio, Wood portò il Pi a casa di Hawking e gli chiese se gli sarebbe piaciuto provarlo. Hawking inarcò le sopracciglia, il che significava "sì".

La squadra mise il Pi in una minuscola scatola nera, lo attaccò alla sedia di Hawking con il velcro e lo inserì nella casella vocale. Quindi hanno disconnesso CallText. Per la prima volta in 33 anni, Hawking è stato in grado di parlare senza di essa.

Wood osservò con impazienza la reazione di Hawking.

"Lo adoro", ha detto Hawking.

Per le prossime settimane in conversazioni private, Hawking ha continuato a parlare attraverso l'emulatore e il Raspberry Pi, chiacchierando felicemente con amici e colleghi. Wood ha detto: "È stato un piacere potergli dare qualcosa del genere, su cui così tante persone hanno lavorato per così tanti anni".

Tutto ciò che è rimasto, l'ultimo passo del progetto, è stato ottenere la versione per PC, ancora un po 'buggy, che funzionasse senza problemi. Ma dopo alcune altre revisioni del codice, è stato finalmente privo di bug.

"Avevamo praticamente completato tutti gli ostacoli tecnici", ha detto Dorsey. "Tutti hanno sentito, finalmente, eccolo, funzionerà, questo è fatto."

E fu allora che Hawking si ammalò, a febbraio.

Secondo Wood, Hawking ha continuato a usare l'emulatore fino ai suoi ultimi giorni. È stato in grado di parlare con i suoi cari e gli operatori sanitari con il nuovo software sul Raspberry Pi. Le ultime parole che pronunciò mentre era collegato alla sua sedia, qualunque esse fossero, parlava con una versione della sua voce che vive solo di codice, bit e byte potenzialmente senza morte.

Tutti nel progetto hanno capito che Hawking potrebbe non vivere abbastanza a lungo da sfruttare appieno l'emulatore. Si era già ammalato, ma si era sempre ripreso. Nel 2014, quando Wood ha contattato Dorsey per la prima volta, Hawking aveva 72 anni. Decisero, tuttavia, che le sue schede CallText sarebbero potute passare in rassegna in sei mesi, mentre Hawking avrebbe potuto vivere fino a 80.

Insieme alla tristezza per la morte di Hawking, Dorsey non può fare a meno di provare delusione. Lui e il team avevano corso per anni per costruire una cosa complicata che aveva funzionato magnificamente, ma ora era inattiva.

Allo stesso tempo, il progetto lo ha riportato al suo io più giovane, il ragazzo che voleva usare l'ingegneria per compiere buone azioni e aiutare le persone. Tutti quegli anni fa, lavorando sull'algoritmo di intonazione nel CallText, non riusciva a immaginare che sarebbe finito per aiutare a definire un genio della scienza per il mondo e persino per se stesso.

La tecnologia cambia rapidamente. La maggior parte delle macchine finisce come polvere e quando moriamo, le nostre voci muoiono con noi. La voce di Hawking è diversa. Le bacheche CallText originali sono passate nella sua proprietà, da usare come desideri della sua famiglia. Così ha il nuovo software, l'emulatore CallText, che può essere portato su piattaforme future man mano che vengono inventate.

Hawking era, notoriamente, un ateo, scettico sull'aldilà; "Abbiamo questa unica vita per apprezzare il grande design di questo universo", ha detto una volta, "e per questo, sono estremamente grato." Ma non c'è più alcun motivo fisico per cui la sua voce non possa vivere per sempre.

Jason Fagone è uno scrittore dello staff di San Francisco Chronicle. Email: jason.fagone@sfchronicle.com Twitter: @jfagone