iPhone AR Selfie Revolution

È ARKit su tutto il viso?

Il 12 settembre, Apple terrà un evento nel suo nuovissimo Steve Jobs Theater, situato sul terreno del nuovissimo campus della nave spaziale, per svelare alcuni iPhone nuovi. Mark Gurman di Bloomberg ha scritto una serie di articoli che descrivono in dettaglio cosa aspettarsi (e l'ultimo sembra abbastanza esatto) ma in generale, ecco cosa pensano che la maggior parte degli analisti verrà svelata:

  • Due nuovi iPhone con processori potenziati che per lo più sembrano gli stessi dell'attuale iPhone 7 e iPhone 7 Plus. Forse chiamato 7s e 7s Plus, o forse 8 e 8 Plus. Chissà.
  • Un iPhone di fascia alta riprogettato con uno schermo OLED da bordo a bordo più alto, nessun pulsante home e nuovi sensori frontali per consentire lo sblocco del viso per sostituire il Touch ID. Forse chiamato Premium, Edition, Pro, X, ecc.

Molto è stato detto sugli enormi aggiornamenti di iOS 11 (enormi per iPad, meno per iPhone) ma pochi articoli hanno davvero approfondito il significato dello sblocco facciale, oltre l'ovvio che sarai in grado di verificare la tua identità e sbloccare il tuo telefono con la tua faccia.

Penso che questa sarà la caratteristica di punta del nuovo iPhone e consentirà ad Apple di superare i concorrenti con sensori futuristici di scansione del volto che avranno un impatto gigantesco sul futuro della realtà aumentata.

Tecnologia Face Unlock, stile Apple

Alcuni telefoni Android hanno avuto lo sblocco facciale dal 2011. Fondamentalmente, il telefono scatta una foto 2D del tuo viso utilizzando la fotocamera frontale e utilizza un software per confrontarlo matematicamente con una foto scattata in precedenza che l'utente ha ritenuto essere se stesso . Da quando è stato lanciato, lo sblocco facciale Android è stato sia lento che insicuro, e persino il telefono S8 di punta di Samsung può essere ingannato nello sblocco tenendo una foto, quindi ovviamente non è un ottimo pezzo di tecnologia.

E non c'è assolutamente modo che Apple includa lo sblocco facciale sul loro nuovo iPhone di fascia alta se potesse mai essere sconfitto con una foto del tuo viso invece della cosa reale.

Negli ultimi mesi ci sono state molte chiacchiere su questa tecnologia, ma di solito è sepolto in un articolo più ampio sulle altre nuove voci dell'iPhone.

Da un articolo di Bloomberg scritto a luglio:

Apple sta testando un sistema di sicurezza migliorato che consente agli utenti di accedere, autenticare i pagamenti e avviare app sicure scansionando il proprio viso, secondo le persone che hanno familiarità con il prodotto. Questo è alimentato da un nuovo sensore 3D, hanno aggiunto le persone, che hanno chiesto di non essere identificati discutendo della tecnologia che è ancora in fase di sviluppo. La società sta inoltre testando la scansione oculare per migliorare il sistema, ha affermato una delle persone.

Un nuovissimo sensore di profondità 3D in grado di monitorare anche i movimenti oculari.

E la velocità?

La velocità e la precisione del sensore sono i punti focali della funzione. Può scansionare il volto di un utente e sbloccare l'iPhone in poche centinaia di millisecondi, ha detto la persona. È progettato per funzionare anche se il dispositivo è disteso su un tavolo, piuttosto che vicino al viso.

Super veloce. Più veloce o più veloce di Touch ID. Ancora una volta: se fosse più lento, Apple non lo accetterebbe.

E da un articolo della WSJ su questo nuovo sensore di agosto:

La tecnologia di rilevamento della profondità, generalmente chiamata "luce strutturata", spruzza migliaia di piccoli punti a infrarossi sulla faccia di una persona o su qualsiasi altro bersaglio.
Leggendo le distorsioni in questo campo di punti, la fotocamera raccoglie informazioni di profondità super accurate. Dal momento che la fotocamera del telefono può vedere gli infrarossi ma gli umani no, un tale sistema potrebbe consentire al telefono di sbloccarsi al buio completo.

Puntini a infrarossi che funzionano in condizioni di scarsa luminosità (o in assenza di luce) e scansionano il viso dell'utente per generare una mappa di profondità 3D estremamente accurata.

Scaviamo più a fondo nel bit di tracciamento degli occhi in alto. C'è qualcosa per indicare che Apple sta facendo qualcosa di veramente grande lì? Sì, Apple ha acquisito SensoMotoric Instruments all'inizio di quest'anno, una società che ha sviluppato una seria tecnologia di rilevamento degli occhi da oltre 20 anni.

SensoMotoric Instruments, fondata nel 1991, ha sviluppato una gamma di hardware e software di tracciamento oculare per diversi campi di utilizzo, tra cui realtà virtuale e aumentata, sistemi di bordo, ricerca clinica, formazione cognitiva, linguistica, neuroscienze, allenamento fisico e biomeccanica, e psicologia.

Ulteriori informazioni sulla loro tecnologia di tracciamento degli occhi:

Gli Eye Tracking Glasses dell'azienda, ad esempio, sono in grado di registrare il comportamento naturale dello sguardo di una persona in tempo reale e in situazioni del mondo reale con una frequenza di campionamento fino a 120Hz. […] SensoMotoric ha anche sviluppato una tecnologia di tracciamento oculare per cuffie per realtà virtuale come Oculus Rift, che può analizzare lo sguardo di chi lo indossa e contribuire a ridurre la cinetosi, un effetto collaterale comune della VR. La soluzione può anche consentire allo sguardo di una persona di controllare i menu o mirare in un gioco con lo sguardo.

Tracciamento in tempo reale a 120Hz dei movimenti degli occhi a un livello così dettagliato che gli utenti possono controllare le interfacce software semplicemente guardando gli obiettivi visivi.

Ma aspetta! Al WWDC questa estate, Apple ha introdotto una serie di API che offrono agli sviluppatori capacità di riconoscimento facciale più avanzate:

Vision Framework consente di rilevare il rettangolo del viso e i punti di riferimento del viso (contorno del viso, linea mediana, occhi, sopracciglia, naso, labbra, posizione delle pupille)

Oltre a questa API annunciata, è stato anche scoperto che il nuovo iPhone saprà se lo stai guardando e sopprimerà i suoni di notifica.

Mettendo insieme tutti questi bocconcini, inizia a emergere un'immagine delle tecnologie alla base delle nuove capacità di identificazione dei volti sull'iPhone di fascia alta:

  • Un sensore (o sensori) dedicato che utilizza la luce a infrarossi per generare una scansione 3D altamente dettagliata del volto di un utente e dei dintorni immediati
  • Una fotocamera frontale migliorata (o fotocamere) che scatta foto ad alta fedeltà e registra video con un framerate più elevato
  • Sblocco e autorizzazione di pagamento più veloci e sicuri rispetto a Touch ID, anche in condizioni di scarsa luminosità
  • Nuove funzionalità avanzate di elaborazione delle immagini in grado di tracciare e decifrare i movimenti oculari, determinare vigilanza, attenzione e altro

Questi non sono solo gli ingredienti per un nuovo modo di sbloccare il tuo telefono, questi sono gli elementi fondamentali per una tecnologia davvero futuristica che nessun altro sta costruendo.

Molto oltre lo sblocco

Gli utenti saranno in grado di sbloccare i loro iPhone con il solo volto. Saranno in grado di effettuare acquisti utilizzando il proprio volto come autorizzazione.

Penso che queste due funzionalità saranno gli aspetti meno interessanti di ciò che il nuovo iPhone di fascia alta può fare con le sue nuove fotocamere e sensori.

Negli ultimi 2 anni, il mondo della tecnologia di consumo è impazzito per gli obiettivi selfie che sovrappongono oggetti ed effetti alla tua foto o la distorcono direttamente come uno specchio da luna park. Snapchat è stato il pioniere in questo spazio all'inizio, quindi ha rafforzato il loro stack tecnologico di obiettivi selfie con la loro acquisizione di Looksery nel settembre 2015 per un valore di 150 milioni di dollari:

In una svolta sospetta di eventi, l'app di animazione Selfie Looksery è scomparsa dagli App Store questa mattina proprio mentre Snapchat ha lanciato Lenti. L'artista meme Ronen V mi ha informato che gli obiettivi sembravano identici alla tecnologia di Looksery. E dopo che ho chiesto, Snapchat mi ha confermato che ha effettivamente acquisito Looksery e il team di Looksery si è unito a Snapchat.

Alcuni mesi dopo, un'app di filtri selfie chiamata MSQRD (mascherata) è uscita da una piccola squadra in Bielorussia e ha semplicemente acquisito l'App Store. Aveva un design molto semplice, ma con filtri ed effetti che andavano ben oltre la fedeltà e la ricchezza delle capacità di Snapchat in quel momento. Prima di essere acquisiti da Facebook solo un paio di mesi dopo il loro lancio, hanno ottenuto oltre 25 milioni di download attraverso il passaparola mentre l'app si diffondeva come un incendio tra i telefoni degli adolescenti negli Stati Uniti e in altri paesi.

Cosa c'entra tutto questo con il nuovo iPhone?

Innanzitutto, tutta l'innovazione negli obiettivi selfie è stata basata esclusivamente su software che utilizza tecniche di elaborazione delle immagini sempre più avanzate per trasformare una foto 2D del tuo viso in una mesh 3D che può essere elaborata e modificata in tempo reale. La risoluzione della fotocamera frontale sull'iPhone non è alta come quella posteriore, quindi anche se è in grado di registrare a 1080P, in realtà non è fatta per il campionamento ad alto framerate e ad alta risoluzione, almeno non rispetto al retro- fotocamera frontale che può registrare in 4K e alimenta ARKit.

Quando esce il nuovo iPhone di fascia alta, si dice che entrambe le fotocamere anteriore e posteriore supporteranno la registrazione di video con risoluzione 4K a 60FPS, il che è un salto incredibile oltre l'attuale fotocamera FaceTime HD che registra a metà risoluzione e metà del framerate . Ecco cosa ha detto 9to5Mac:

Il salto a 60 FPS, in particolare con la fotocamera posteriore, ha senso su più fronti. Per uno, Apple migliora quasi sempre la fotocamera dell'iPhone con ogni iterazione hardware e il supporto per 60 FPS è il passo successivo. L'iPhone 8 dovrebbe anche offrire una serie di funzionalità di realtà aumentata come parte del framework ARKit di Apple e il supporto di 60 FPS consentirà miglioramenti AR come un migliore tracciamento.

Anche se Apple non intendeva includere un sensore di profondità 3D nella parte anteriore del telefono, questi rumorosi miglioramenti della risoluzione della fotocamera frontale e della frequenza dei fotogrammi avrebbero un impatto enorme sulla fedeltà e sul realismo degli obiettivi selfie. Più dati con cui lavorare = migliorato rilevamento di facce e bordi per sviluppare una mesh = migliore elaborazione e tracciamento.

Ma! Poiché questa nuova fotocamera ad alta risoluzione siederà proprio accanto a un incredibile sensore di scansione del viso a infrarossi, gli sviluppatori non dovranno setacciare montagne di dati di immagini per capire dove si trova il viso di qualcuno, useranno solo i dati provenienti dal 3D sensore per sapere inequivocabilmente dove si trovano i dettagli facciali più minuti di qualcuno nello spazio 3D, che spazzerà via le porte di ciò che è possibile oggi con la realtà aumentata.

Appena al di sopra della mia testa, ecco alcune cose folli che saranno non solo possibili, ma potenzialmente semplici con il nuovo iPhone di fascia alta:

  • Sapere dove sta guardando un utente mentre sta usando la tua app. Rendere le sfaccettature di un'interfaccia completamente guidate dallo sguardo, non è necessario toccarlo.
  • Informazioni biometriche e sulla salute incredibili dal volto di un utente. Nel 2013, gli scienziati hanno potuto determinare il polso di una persona analizzandone un video. Sicuramente Apple ha esaminato tutte le possibilità al riguardo.
  • Effetti selfie AR completamente immersivi, con fedeltà e dettagli grafici più simili agli effetti CGI nei film attualmente raggiunti tramite motion capture. Obiettivi selfie zero lag ad alta risoluzione ben oltre ciò che è possibile oggi.
  • Movimenti facciali e riconoscimento delle emozioni che alterano il software attualmente in uso. Se sembri triste, l'app potrebbe riconoscerlo e modificare o adattare la funzionalità. Immagina di sapere se la GIF che hai appena inviato a un amico in realtà li ha fatti ridere o sorridere perché il loro iPhone saprà esattamente quale reazione hanno vissuto (e forse farti sapere.)
  • Una rivoluzione nella pubblicità mobile in cui app e inserzionisti sapranno se hai effettivamente guardato un banner o no. Questi dati sarebbero più preziosi di quelli che gli inserzionisti metrici attualmente ricevono, ma potrebbero avere conseguenze piuttosto negative.

Queste sono solo alcune cose che mi sono venute in mente, ma con queste nuove tecnologie in atto e le API fornite da Apple fornite agli sviluppatori per accedervi, sono sicuro che innumerevoli esperienze affascinanti (che non avrebbero mai potuto essere costruite prima!) Arriveranno a breve. Apple potrebbe anche aver lavorato con alcuni sviluppatori di terze parti per creare alcune demo killer per il loro prossimo Apple Event per dare al mondo un assaggio di ciò che è possibile.

Il nuovo iPhone verrà presentato il 12 settembre, quindi potrebbe non essere necessario attendere molto per vedere il futuro.