Da asporto chiave
- Nvidia ha recentemente mostrato una tecnica che trasforma le foto 2D in scene 3D in pochi secondi.
- Il metodo utilizza la potenza del computer per approssimare il comportamento della luce nel mondo reale.
- Il metaverso è un'area in cui le scene 3D sono utili perché possono essere visualizzate da qualsiasi prospettiva della telecamera.
La nuova tecnologia di intelligenza artificiale (AI) di Nvidia potrebbe presto trasformare le foto 2D in scene 3D in pochi secondi, rendendo la creazione di spazi virtuali immersivi come il metaverso banale quanto l'elaborazione di testi.
Nvidia ha recentemente dimostrato il metodo fotografico chiamato Instant NeRF, che utilizza la potenza di calcolo per approssimare il comportamento della luce nel mondo reale. Potrebbe trasformare le tue vecchie foto in una scena di un videogioco, oppure può essere utilizzato per addestrare robot e auto a guida autonoma per comprendere le dimensioni e la forma degli oggetti del mondo reale.
"L'imaging 3D porta un nuovo mondo di trasformazione", ha detto a Lifewire in un'intervista via e-mail Oren Debb, CEO di Visionary.ai, una società di visione artificiale che esegue i suoi algoritmi 3D sulla piattaforma Nvidia. "Utilizzando il 3D, si imita la profondità del mondo reale nella scena e si fa apparire l'immagine più viva e realistica. Oltre all'AR/VR e alle telecamere industriali, dove il 3D è molto comune, ora lo stiamo vedendo utilizzato su quasi tutti gli smartphone senza il utente anche sapendo."
Aggiunta di dimensioni
La prima foto istantanea, scattata 75 anni fa con una fotocamera Polaroid, mirava a catturare rapidamente il mondo 3D in un'immagine 2D. Ora, i ricercatori di intelligenza artificiale stanno lavorando sull'opposto: trasformare una raccolta di immagini fisse in una scena 3D digitale in pochi secondi.
Noto come rendering inverso, il processo utilizza l'intelligenza artificiale per approssimare il comportamento della luce nel mondo reale, consentendo ai ricercatori di ricostruire una scena 3D da una manciata di immagini 2D scattate da diverse angolazioni. Nvidia afferma di aver sviluppato un approccio che esegue questo compito quasi istantaneamente.
Nvidia ha utilizzato questo approccio con una nuova tecnologia chiamata campi di radianza neurale, o NeRF. La società afferma che il risultato, soprannominato Instant NeRF, è la tecnica NeRF più veloce fino ad oggi. Il modello richiede solo pochi secondi per allenarsi su alcune dozzine di foto fisse e può quindi eseguire il rendering della scena 3D risultante entro decine di millisecondi.
"Se le tradizionali rappresentazioni 3D come le mesh poligonali sono simili alle immagini vettoriali, i NeRF sono come le immagini bitmap: catturano densamente il modo in cui la luce si irradia da un oggetto o all'interno di una scena", David Luebke, vicepresidente per la ricerca grafica presso Nvidia, ha affermato in un comunicato stampa: “In questo senso, Instant NeRF potrebbe essere importante per il 3D quanto le fotocamere digitali e la compressione JPEG lo sono state per la fotografia 2D, aumentando notevolmente la velocità, la facilità e la portata dell'acquisizione e della condivisione 3D.”
La raccolta di dati per alimentare un NeRF richiede che la rete neurale catturi alcune dozzine di immagini prese da più posizioni intorno alla scena, così come la posizione della telecamera di ciascuno di quegli scatti.
Il NeRF addestra una piccola rete neurale per ricostruire la scena prevedendo il colore della luce che si irradia in qualsiasi direzione, da qualsiasi punto dello spazio 3D.
L'appello del 3D
Il metaverso è un'area in cui le scene 3D sono utili perché possono essere visualizzate da qualsiasi prospettiva della telecamera, ha detto a Lifewire Brad Quinton, fondatore della piattaforma Perceptus per la re altà aumentata (AR), in un'intervista via e-mail. Proprio come possiamo camminare in una stanza nella vita reale e vederne il contenuto da molte angolazioni diverse, con una scena 3D ricostruita, possiamo muoverci virtualmente attraverso uno spazio e vederlo da qualsiasi prospettiva.
"Questo può essere particolarmente utile per creare ambienti da utilizzare nella re altà virtuale", ha detto Quinton.
Programmi come Object Capture di Apple utilizzano una tecnica chiamata fotogrammetria per creare oggetti 3D virtuali da una serie di immagini 2D. I modelli 3D saranno ampiamente utilizzati nella re altà virtuale e nelle applicazioni AR, ha previsto Quinton. Ad esempio, alcune IA, come quella della piattaforma Perceptus AR, utilizzano modelli 3D per creare una comprensione del mondo reale, che consente applicazioni AR in tempo reale.
L'uso di immagini 3D imita anche la profondità del mondo reale in una scena e rende l'immagine più viva e realistica, ha detto Debbi. Per creare un effetto Bokeh (noto anche come modalità ritratto o modalità cinematografica), è necessaria la mappatura della profondità 3D. La tecnica è utilizzata su quasi tutti gli smartphone.
"Questo è già lo standard per i videografi professionisti che girano film, e questo sta diventando lo standard per ogni consumatore", ha aggiunto Debbi.
