Da asporto chiave
- Navi utilizza SharePlay e la sintesi vocale integrata di Apple per offrire sottotitoli e traduzioni in FaceTime.
- È tutt' altro che perfetto ma già abbastanza buono.
- I sottotitoli sono ottimi per l'accessibilità.
Navi è un'app che aggiunge sottotitoli in tempo reale e traduzioni in tempo reale alle tue chiamate FaceTime.
L'app utilizza SharePlay e il riconoscimento vocale integrato per aggiungere sottotitoli e traduzioni in 20 lingue alle tue chiamate FaceTime. È un uso incredibile di SharePlay, che molti di noi considerano un modo ingannevole per guardare film sincronizzati con persone in altri luoghi. Potresti non aver ancora bisogno di licenziare il tuo traduttore, ma un'app che lo fa bene potrebbe essere incredibilmente utile.
"Non ricevo l'audio dalla chiamata FaceTime", scrive lo sviluppatore Navi Jordi Bruin su Twitter, "ma utilizzo SharePlay per condividerlo tra i partecipanti alla chiamata."
SharePlay
SharePlay è una nuova funzionalità in iOS 15 e macOS 12.1 che ti consente di condividere e sincronizzare elementi nelle chiamate FaceTime. Con l'esempio di visione di film sopra, qualsiasi partecipante può mettere in pausa o riprodurre il film, ad esempio, mentre tutti voi chattate nella chiamata FaceTime. Il video FaceTime rimane aperto in un piccolo pannello mobile picture-in-picture e ogni partecipante esegue l'app localmente sul proprio dispositivo. Il trucco di SharePlay è sincronizzare tutto ciò che sta accadendo in queste app locali, in modo che tutti condividano l'esperienza, che si tratti di un film, di un allenamento Fitness+ o di un foglio di calcolo.
Navi utilizza la stessa tecnologia, solo l'app durante le chiamate non è un film, è un motore di traduzione in tempo reale. Per usarlo, avvia l'app durante una chiamata FaceTime e tocca il pulsante "Attiva sottotitoli". Quindi, anche gli altri partecipanti possono unirsi all'azione e vedere i sottotitoli dal vivo per l'oratore attuale. Se qualcuno sta parlando in monologo, il suo fumetto cresce e rimane un po' più a lungo.
Per i non udenti, questo potrebbe fare la differenza tra chiamare o meno le persone. E per chiunque, significa che puoi avere conversazioni utili tra persone che non condividono una lingua.
Testo universale
Internet si basa sul testo, ed è fantastico. È piccolo e facile da creare, leggere e tradurre. È anche semplice trasformarlo in un discorso sintetizzato. Il risultato è che chiunque da qualsiasi luogo può partecipare a qualsiasi conversazione. La lingua non è una barriera, e nemmeno la sordità o qualsiasi tipo di cecità, a condizione che tu stia utilizzando un dispositivo con buoni strumenti di accessibilità per problemi di vista o udito.
Ma la parola pronunciata è molto più difficile da elaborare. La dettatura vocale è impressionante, ma è solo relativamente di recente che il riconoscimento vocale generale è diventato abbastanza buono per un uso generale: l'app Traduttore di Apple è un buon esempio. Introdotto in iOS 15, offre traduzioni audio in tempo reale. Se andassimo ancora in vacanza all'estero, sarebbe perfetto.
Ora utilizziamo sempre di più i video per lavoro e per rimanere in contatto con amici e familiari. Indipendentemente da come lavoreremo in futuro, la barriera alle videochiamate è stata completamente abbattuta. Ora è uno strumento comune, ma manca di gran parte della finezza degli strumenti di comunicazione scritta.
Qualcosa come Navi, che offre sottotitoli e traduzione in tempo reale, potrebbe essere significativo. L'accessibilità è un aspetto, ma la capacità di conversare con persone la cui lingua non si parla apre gli affari internazionali in misura sorprendente.
In azione
Ho testato Navi con Graham Bower, sviluppatore di app, autore e utente di apparecchi acustici. È abbastanza buono ma non ancora pronto per compiti critici. Alcune delle trascrizioni erano comicamente pessime e troppo volgari per essere riferite. Mentre la nostra conversazione andava avanti, però, è migliorato molto nel riconoscere accuratamente il suo discorso. Questo ha senso perché il motore di dettatura iOS si adatta alla tua voce nel tempo.
Anche la traduzione ha funzionato, sebbene la qualità delle sue traduzioni dipenda dall'accuratezza dell'input.
È facile proiettare questo tipo di tecnologia nei futuri occhiali Apple o in qualsiasi altro prodotto AR/VR su cui si dice stia lavorando questa settimana.
"Vedo che funziona con gli occhiali AR", ha detto Bower durante la nostra conversazione. "Alcune persone, anche con un udito normale, preferiscono i sottotitoli nei film. Sarebbe come i sottotitoli nella vita reale."
Nonostante un'impressionante demo tecnologica, Navi non è ancora arrivata. Per un uso aziendale affidabile, il riconoscimento vocale iniziale di Apple dovrà diventare molto più accurato. Ma per quanto riguarda la velocità, va bene e le traduzioni sono buone come tutte.
Ma ora siamo sulla strada giusta e questo genere di cose migliorerà solo.
