L'annuncio dell'intelligenza artificiale di Google che probabilmente ti sei perso.

La torre di Babele (Marten van Valckenborch [dominio pubblico], tramite Wikimedia Commons)

Disclaimer: non sono un esperto di reti neurali o apprendimento automatico. Da quando ho scritto questo articolo in origine, molte persone con molta più esperienza in questi campi di me hanno indicato che, sebbene impressionante, ciò che Google ha raggiunto è evolutivo, non rivoluzionario. Per lo meno, è giusto dire che sono colpevole di antropomorfizzazione in alcune parti del testo.

Ho lasciato invariato il contenuto dell'articolo, perché ritengo sia interessante confrontare la reazione intestinale che ho avuto con i successivi commenti di esperti del settore. Incoraggio vivamente i lettori a consultare i commenti dopo aver letto l'articolo per alcune prospettive più sobrie e informate delle mie.

Nelle ultime settimane del 2016, Google ha pubblicato un articolo che navigava tranquillamente sotto i radar della maggior parte delle persone. È un peccato, perché potrebbe essere l'articolo più sorprendente sull'apprendimento automatico che ho letto l'anno scorso.

Non sentirti male se l'hai perso. L'articolo non solo era in competizione con la corsa pre-natalizia che la maggior parte di noi stava navigando, ma era anche nascosto nel Blog di ricerca di Google, sotto il titolo geektastic Zero-Shot Translation con il sistema multilingue di traduzione automatica neurale di Google.

Questo non è esattamente l'urlo che deve leggere, vero? Soprattutto quando hai progetti da liquidare, regali da acquistare e faide familiari da risolvere, il tutto mentre il calendario dell'avvento conta incessantemente i giorni fino a Natale come una sorta di orologio del giorno del giudizio di Natale pieno di cioccolato.

Fortunatamente, sono qui per portarti al passo. Ecco l'accordo.

Fino a settembre dello scorso anno, Google Translate ha utilizzato la traduzione basata su frasi. Fondamentalmente ha fatto la stessa cosa tu ed io quando cerchiamo le parole chiave e le frasi nelle nostre guide linguistiche Lonely Planet. È abbastanza efficace e incredibilmente veloce rispetto a sfogliare goffamente la tua strada attraverso un mucchio di pagine in cerca dell'equivalente francese di "per favore portami tutto il tuo formaggio e non fermarti finché non cado." Ma manca di sfumature.

La traduzione basata sulla frase è uno strumento contundente. Fa abbastanza bene il lavoro per cavarsela. Ma mappare parole e frasi approssimativamente equivalenti senza una comprensione delle strutture linguistiche può solo produrre risultati rozzi.

Questo approccio è anche limitato dalla portata di un vocabolario disponibile. La traduzione basata su frase non ha la capacità di formulare ipotesi su parole che non riconosce e non può imparare da nuovi input.

Tutto è cambiato a settembre, quando Google ha dato al suo strumento di traduzione un nuovo motore: il sistema di traduzione automatica di Google Neural (GNMT). Questo nuovo motore viene caricato con tutte le parole d'ordine del 2016, come la rete neurale e l'apprendimento automatico.

La versione breve è che Google Translate è diventato intelligente. Ha sviluppato la capacità di imparare dalle persone che lo hanno usato. Ha imparato a fare ipotesi colte sul contenuto, sul tono e sul significato delle frasi in base al contesto di altre parole e frasi che li circondano. E - ecco la parte che dovrebbe far esplodere il tuo cervello - è diventato creativo.

Google Translate ha inventato la propria lingua per aiutarla a tradurre in modo più efficace.

Inoltre, nessuno glielo ha detto. Non ha sviluppato una lingua (o interlingua, come la chiama Google) perché è stata codificata. Ha sviluppato un nuovo linguaggio perché il software ha determinato nel tempo che questo era il modo più efficiente per risolvere il problema della traduzione.

Fermati e pensaci un momento. Lasciatelo affondare. Un sistema informatico neurale progettato per tradurre il contenuto da un linguaggio umano in un altro ha sviluppato il proprio linguaggio interno per rendere l'attività più efficiente. Senza che gli venga detto di farlo. Nel giro di poche settimane. (Ho aggiunto una correzione / retrazione di questo paragrafo nelle note)

Per capire cosa sta succedendo, dobbiamo capire qual è la capacità di traduzione zero-shot. Ecco Mike Schuster, Nikhil Thorat e Melvin Johnson di Google dal post originale del blog:

Diciamo che formiamo un sistema multilingue con esempi di inglese giapponese e coreano. Il nostro sistema multilingue, con le stesse dimensioni di un singolo sistema GNMT, condivide i suoi parametri per tradurre tra queste quattro diverse coppie linguistiche. Questa condivisione consente al sistema di trasferire la "conoscenza della traduzione" da una coppia di lingue all'altra. Questo apprendimento del trasferimento e la necessità di tradurre tra più lingue costringe il sistema a sfruttare meglio il suo potere di modellizzazione.
Questo ci ha spinto a porre la seguente domanda: possiamo tradurre tra una coppia di lingue che il sistema non ha mai visto prima? Un esempio di questo potrebbe essere la traduzione tra coreano e giapponese in cui esempi coreani giapponesi non sono stati mostrati al sistema. Sorprendentemente, la risposta è sì: può generare ragionevoli traduzioni coreane-giapponesi, anche se non gli è mai stato insegnato a farlo.

Qui puoi vedere un vantaggio della nuova macchina neurale di Google rispetto al vecchio approccio basato su frasi. Il GMNT è in grado di imparare a tradurre tra due lingue senza essere esplicitamente insegnato. Ciò non sarebbe possibile in un modello basato su frasi, in cui la traduzione dipende da un dizionario esplicito per mappare parole e frasi tra ciascuna coppia di lingue tradotte.

E questo porta gli ingegneri di Google a quella scoperta davvero sorprendente della creazione:

Il successo della traduzione zero-shot solleva un'altra importante domanda: il sistema sta imparando una rappresentazione comune in cui frasi con lo stesso significato sono rappresentate in modo simile indipendentemente dalla lingua - cioè un "interlingua"? Usando una rappresentazione tridimensionale dei dati della rete interna, siamo stati in grado di dare una sbirciatina al sistema in quanto traduce un insieme di frasi tra tutte le possibili coppie delle lingue giapponese, coreano e inglese.
All'interno di un singolo gruppo, vediamo una frase con lo stesso significato ma da tre lingue diverse. Ciò significa che la rete deve codificare qualcosa sulla semantica della frase piuttosto che memorizzare semplicemente le traduzioni frase per frase. Interpretiamo questo come un segno di esistenza di un interlingua nella rete.

Così il gioco è fatto. Nelle ultime settimane del 2016, quando i giornali di tutto il mondo hanno iniziato a scrivere il loro pensiero "è stato l'anno peggiore della memoria vivente", gli ingegneri di Google hanno documentato silenziosamente una svolta davvero sorprendente nell'ingegneria del software e nella linguistica.

Ho pensato che forse avresti voluto saperlo.

Ok, per capire davvero cosa sta succedendo probabilmente abbiamo bisogno di più lauree in informatica e linguistica. Sto appena raschiando la superficie qui. Se hai tempo per ottenere alcuni gradi (o se li hai già ottenuti) per favore lasciami un messaggio e spiegami tutto. Lentamente.

Aggiornamento 1: nella mia eccitazione, è giusto dire che ho esagerato l'idea di questo come un sistema "intelligente", almeno per quanto riguarda l'intelligenza umana e il processo decisionale. Assicurati di leggere il commento di Chris McDonald dopo l'articolo per una prospettiva più sobria.

Aggiornamento 2: la risposta eccellente e dettagliata di Nafrondel è anche una lettura obbligata per una spiegazione esperta di come funzionano le reti neurali.