Come l'upscaling dell'IA potrebbe produrre foto migliori

Sommario:

Come l'upscaling dell'IA potrebbe produrre foto migliori
Come l'upscaling dell'IA potrebbe produrre foto migliori
Anonim

Da asporto chiave

  • Nuovi progressi per ingrandire le immagini potrebbero aiutare con qualsiasi cosa, dalle foto di famiglia all'imaging medico.
  • I ricercatori di Google hanno annunciato di aver compiuto progressi nell'utilizzo dell'IA per aumentare la risoluzione delle foto.
  • Ma un esperto afferma che l'upscaling del software potrebbe non essere necessario per i fotografi di scena.
Image
Image

Nuove tecniche che ingrandiscono le immagini utilizzando l'IA potrebbero migliorare tutto, dalle foto alla grafica dei videogiochi, affermano gli esperti.

I ricercatori di Google hanno recentemente discusso delle scoperte che hanno fatto per aumentare la risoluzione delle immagini. Gli scienziati hanno utilizzato un modello di apprendimento automatico per trasformare una foto a bassa risoluzione in un'immagine dettagliata ad alta risoluzione. Fa parte di una tendenza crescente di utilizzare l'IA per migliorare le immagini.

"Stiamo assistendo a un aumento dell'upscaling basato sull'intelligenza artificiale, soprattutto nei giochi, dove tecnologie come NVIDIA DLSS utilizzano l'apprendimento automatico per ricreare un'immagine a risoluzione molto più elevata, che rivaleggia e talvolta supera la qualità delle immagini native, " l'esperto di imaging Ionut-Alexandru Popa ha detto a Lifewire in un'intervista via e-mail.

"Questo tipo di upscaling funziona benissimo nei giochi per computer, dove riesce a utilizzare meno risorse rispetto al rendering diretto di un'immagine di qualità superiore."

Creazione di pixel

Google ha esplorato un modo per migliorare le foto utilizzando un metodo chiamato modelli di diffusione.

L'azienda afferma che questa tecnica migliora le tecnologie esistenti quando agli esseri umani viene chiesto di giudicare i risultati. Un approccio utilizzato da Google è chiamato SR3, o Super-Resolution via Refinement ripetuto.

"SR3 è un modello di diffusione a super risoluzione che prende come input un'immagine a bassa risoluzione e crea un'immagine ad alta risoluzione corrispondente dal rumore puro", hanno scritto i ricercatori di Google nel post sul blog."Il modello viene addestrato su un processo di corruzione dell'immagine in cui il rumore viene progressivamente aggiunto a un'immagine ad alta risoluzione fino a quando rimane solo il rumore puro."

Le tecniche di upscaling non sono nuove e sono comunemente utilizzate nelle applicazioni di fotoritocco, ha detto Popa.

"Ci sono molte situazioni in cui è necessaria un'immagine a risoluzione più elevata, quindi l'upscaling viene utilizzato per creare pixel tra quelli esistenti", ha aggiunto. "La maggior parte delle persone non se ne rende conto, ma quando guarda la TV sul proprio schermo 4K, il segnale video 1080p viene automaticamente aumentato per coprire l'intero schermo. Ciò viene eseguito automaticamente dal televisore."

Molte tecniche attuali vengono utilizzate per "indovinare" il contenuto dei nuovi pixel in modo che l'immagine risultante abbia un bell'aspetto, ha detto Popa.

"Attualmente, gli algoritmi più utilizzati per l'upscaling delle immagini sono i metodi bilineari e bicubici, che garantiscono una transizione continua tra pixel adiacenti, con variazioni graduali del colore, ma questo metodo spesso si traduce in una perdita di nitidezza", ha aggiunto."Ciò viene parzialmente compensato applicando un passaggio di nitidezza sull'immagine ingrandita."

Ci sono molte situazioni in cui è necessaria un'immagine a risoluzione più elevata, quindi l'upscaling viene utilizzato per creare pixel tra quelli esistenti.

L'upscaling delle immagini è fondamentale per il funzionamento dell'intrattenimento, dei media e di Internet, ha detto il fotografo Sebastien Coell a Lifewire in un'intervista via e-mail.

"Ad esempio, invece di dover avere più dimensioni dell'immagine per una pagina web, come una per l'uso su un telefono, una per un tablet", ha detto, "se puoi aumentare l'immagine da 1080p a 2k o 4K e l'immagine del telefono su un tablet e 1080p, hai improvvisamente ridotto il numero di immagini necessarie da 6 a 2."

"Risparmierete anche lo spazio necessario per i file di grandi dimensioni da 2k e 4k in modo da ridurre le dimensioni complessive di archiviazione dei file necessarie di circa il 70-90%."

Non solo per la TV

L'upscaling delle foto può anche aumentare la qualità delle foto e potrebbe anche aiutare con l'imaging medico. Gli sviluppatori di software affermano che l'upscaling può aumentare la risoluzione delle immagini senza alcun degrado della qualità.

Ma Matic Broz, il fondatore del sito di fotografia Phototutorial, ha detto a Lifewire in un'intervista via e-mail che i risultati effettivi dipendono dal software utilizzato.

"Recentemente, l'IA ha trovato la sua strada nell'upscaling delle immagini, anche se finora non ne sono rimasto impressionato", ha aggiunto.

Broz ha detto che il miglior software di upscaling che ha usato è AI Image Enlarger di Vance AI.

Image
Image

"Anche il loro upscaler di immagini 8x non introduce alcun rumore significativo (che è un aumento della risoluzione di 64 volte)," ha affermato. "Mi aspetto che gli algoritmi migliorino solo negli anni successivi, consentendo un upscaling ancora maggiore."

Per i fotografi di scena, Broz ha affermato che è una questione aperta se siano necessari gli upscaler delle immagini.

"Gli sviluppatori di fotocamere migliorano costantemente la risoluzione dei sensori della fotocamera, ora anche con una risoluzione di oltre 100 MP", ha aggiunto. "Personalmente ho utilizzato 24 MP e circa 50 MP e non ho mai sentito il bisogno di immagini più grandi, nemmeno per stampe di grandi dimensioni."

Consigliato: