Il prossimo 100X per le prestazioni dell'hardware AI sarà più difficile

Per quelli di noi che amano l'hardware e speravano in una grande rivelazione sul processore AI TPUv5e e sul sistema circostante, sull'interconnessione e sullo stack software alla conferenza Hot Chips 2023 di questa settimana, il keynote di apertura di Jeff Dean e Amin Vahdat, i due più importanti tecnici di Google, è stata un po' una delusione. Ma il discorso di Google ci ha comunque fornito spunti per esperimenti mentali sull’intelligenza artificiale.

Sono passati dieci anni da quando Dean, che ha avuto un ruolo determinante in così tante delle tecnologie create da Google che probabilmente non gli dovrebbe mai essere permesso di salire su un aereo o di arrampicarsi su roccia, ha fatto alcuni conti su un pezzo di carta e ha capito che Se Google aggiungesse funzioni di intelligenza artificiale al suo omonimo motore di ricerca, dovrebbe raddoppiare le dimensioni dell'impronta del suo data center e inviare Google lungo il percorso di creazione dei suoi motori matematici a matrice Tensor Processing Unit, o TPU, personalizzati.

Dieci anni dopo, l’intelligenza artificiale è più complessa e ad alta intensità di calcolo e il tanto discusso ferro TPUv4, sebbene utile ora e per molti anni a venire, sembra un po’ vecchiotto. I sistemi TPUv4 sono stati potenziati dal TPUv5e, molto probabilmente basato su processi a 5 nanometri e molto probabilmente con almeno il doppio delle prestazioni di picco grezze, in esecuzione nei data center di Google. (Abbiamo fatto un approfondimento sul sistema TPUv4 nell'ottobre dello scorso anno e dobbiamo ancora aggiornarlo con l'interconnessione dello switch ottico che è stato rivelato all'inizio di quest'anno e che sarà discusso in dettaglio a Hot Chips questa settimana.)

E come ci aspettavamo, alcuni dettagli sulla variante TPUv5e utilizzata sia per l'addestramento che per l'inferenza sono stati rivelati all'evento Google Cloud Next 2023 che si è svolto contemporaneamente a Hot Chips 2023, e ne parleremo a breve. Ci aspettiamo inoltre che, una volta disponibili le istanze cloud con TPUv5e, offriranno un rapporto qualità-prezzo migliore di circa il 30% rispetto alle precedenti istanze TPUv4 su Google Cloud. Potrebbe anche rivelarsi un rapporto qualità-prezzo ancora migliore. Dovremo vedere.

Abbiamo scelto le conferenze di Google a Hot Chips invece del keynote di Google Next perché quando Dean parla, gli architetti di sistema devono ascoltare. Dean ha avuto una mano in quasi tutte le tecnologie chiave di Google: il modo MapReduce di masticare big data, l'overlay relazionale BigTable per il sistema di archiviazione distribuito Spanner, il software TensorFlow e Pathways che è alla base dei più grandi modelli di intelligenza artificiale della famiglia PaLM, il Hardware TPU e ora il modello linguistico Gemini di grandi dimensioni che darà filo da torcere ai modelli GPT-4 e GPT-5 di OpenAI. (Beh, tutti sperano che ci siano soldi da qualche parte al di fuori delle fabbriche di semiconduttori e dei produttori di hardware.) Dean ha gestito Google Research per molti anni e ha co-fondato il team Google Brain che ha riunito i migliori ricercatori di intelligenza artificiale e la sua acquisizione di DeepMind e dove attualmente è capo scienziato.

La sua presentazione principale è stata divisa con Amin Vahdat, che come Dean è anche un Google Fellow ed è attualmente vicepresidente dell'ingegneria presso l'azienda, è stato professore di informatica e ingegneria presso l'Università della California a San Diego e direttore del suo centro per sistemi di rete prima di unirsi a Google nel 2010, dove è stato responsabile tecnico per la rete, poi responsabile tecnico per elaborazione, archiviazione e rete e, più recentemente, è ora responsabile del team Machine Learning, Systems e Cloud AI dell'azienda come oltre ad essere responsabile della ricerca sui sistemi presso Google. MSCA sviluppa e mantiene Compute Engine e Borg, la suite di motori di calcolo CPU, TPU, GPU, la rete che li collega insieme e l'intero stack software AI utilizzato nella produzione da Google e dai suoi clienti cloud.

Dean e Vahdat praticamente definiscono e creano l'infrastruttura di Google. Non è chiaro quale ruolo ricopra attualmente Urs Hölzle, anch'egli Google Fellow e primo vicepresidente dell'ingegneria dell'azienda, poi vicepresidente della ricerca e per più di due decenni vicepresidente senior dell'ingegneria responsabile del team Infrastruttura tecnica. la sua nuova casa ad Auckland, in Nuova Zelanda. A Hot Chips, Dean ha tracciato il terreno per l'intelligenza artificiale e Vahdat ha parlato delle crescenti richieste e dell'hardware per attraversare quel terreno.