VideoGigaGAN AI: Todo lo que debes saber

Te explicaremos qué es VideoGigaGAN AI de Adobe, un nuevo modelo de IA que tiene como objetivo acabar con los vídeos borrosos, aumentar su resolución y eliminarlos. De momento es un proyecto que acaba de ser presentado y está en desarrollo, pero os lo explicaremos. 

Comenzaremos este artículo explicando brevemente qué es exactamente este modelo de IA y qué afirma Adobe que puede hacer. Luego les contaré un poco sobre el funcionamiento interno y terminaré informándoles si sé algo sobre el lanzamiento. 

¿Qué es VideoGigaGAN AI?

VideoGigaGAN AI es una nueva función impulsada por inteligencia artificial de Adobe, la compañía detrás de herramientas como Photoshop. Se trata de IA basada en un modelo generativo, pero en este caso la intención no es crear contenido desde cero, sino mejorar lo que hay actualmente disponible. La idea detrás de esta inteligencia artificial es sencilla. 

Los vídeos de baja resolución se ven borrosos, especialmente cuando se amplían con el zoom, lo que también puede provocar ruido. Lo que está tratando de lograr es una IA que aumente la resolución y la haga increíblemente nítida.

Seamos realistas, las imágenes borrosas ya no lo serán y, a medida que aumente la resolución, se verán nítidas y claras porque la IA ha reconstruido la imagen. Esto permite a Adobe mejorar los vídeos hasta x8 y hacerlos parecer más nítidos.

Los ejemplos incluidos en esta presentación de IA son sorprendentes. Allí vieron cómo sería convertir un vídeo borroso de 128×128 a un vídeo de 1024 x 1024. No sólo aumenta la resolución, sino que la imagen se vuelve completamente clara y, en algunos casos, el parpadeo se elimina en los vídeos de baja resolución para hacerlos más fluidos. 

En consecuencia, en lugar de crear contenido desde cero, Adobe utilizó tecnología de creación de contenido de IA que crea contenido basado en la entrada de video. El contenido se crea e «inventa», pero el resultado es idéntico al vídeo original. 

Características 

VideoGigaGAN AI representa una evolución de un modelo de vídeo de alta resolución llamado Video Super-Resolution (VSR). Basado en la arquitectura asimétrica del modelo de imagen GigaGAN, puede escalar y procesar grandes conjuntos de datos para generar imágenes fotorrealistas a partir de texto.

Se han realizado cambios internos para adaptar la selección de imágenes a la producción de vídeo. Al agregar niveles de enfoque a la línea de tiempo en el bloque de decodificación, el modelo no solo puede escalar las imágenes, sino también combinar los videos en un orden consistente.

También incluye una función de cómo implementar el control de flujo para mejorar la coherencia de las transiciones. Los bloques de suavizado se implementan en las capas de muestreo internas del codificador para suprimir artefactos no deseados, como suavizado o fallos.

¿Cuándo estará disponible? 

La asociación quiere ver esta herramienta de innovación, pero debe esperar un tiempo. Adobe confirmó que el video fue desarrollado y confirmó que no ofrece una fecha específica. Sin embargo, los avances mostrados demuestran que el desarrollo ha avanzado significativamente.

Cuando se lance, se espera que VideoGigaGAN AI se integre perfectamente con Adobe Premiere Pro, el popular editor de vídeo profesional de la compañía. Ofrece una solución completa para mejorar la calidad del video directamente en su software de edición favorito.

Adobe ha alcanzado un hito en la industria de la edición de vídeo. Esta app tiene la capacidad de convertir vídeos borrosos en producciones de alta calidad. Esto es un avance significativo que seguramente beneficiará a creadores de contenido, editores de vídeo y profesionales de la industria audiovisual en general.

VideoGigaGAN AI promete mejorar la calidad del video de maneras nunca antes vistas, y su integración con Adobe Premiere Pro lo convierte en una herramienta indispensable para cualquiera que busque llevar sus creaciones audiovisuales al siguiente nivel. También te puede interesar: VASA-1, una nueva inteligencia artificial para imágenes hiperrealistas que puede imitar y expresar emociones

¿Cómo funciona VideoGigaGAN AI?

VideoGigaGAN AI se traduce en modelado de video de alta resolución con un modelo llamado Video Super-Resolution (VSR) y se basa en la arquitectura asimétrica del modelo de imagen GigaGAN. GigaGAN es un modelo de síntesis de texto-imagen que puede escalar y procesar grandes conjuntos de datos para generar imágenes fotorrealistas a partir de texto. 

Lo que hace internamente es, en primer lugar, convertir una muestra de imagen en una muestra de vídeo añadiendo una capa de enfoque cronológico al bloque de decodificación. De esta forma, el modelo no sólo cambia el tamaño de la imagen, sino que también crea una imagen para la composición. 

También incluye una función de modo de propagación controlada por corriente que mejora la coherencia y suprime artefactos o errores de suavizado que pueden resultar del uso de un bloque de suavizado en la capa de muestreo interna del codificador.

En pocas palabras, el resultado final es una mejora de 8 veces en la resolución de vídeo. Además, se agregan partículas de alta frecuencia y consistencia temporal, a menudo confrontadas con movimiento severo o repentino.

También se usan remojo adicional y otras funciones de alta frecuencia y puede obtener una imagen abierta y compatible utilizando el cono principal. Lo que finalmente hace esta IA es analizar el contenido del vídeo que envías y cambiar su tamaño cuadro por cuadro. El vídeo parece estar grabado en muy alta definición, utilizando múltiples capas para que el resultado sea claro y perfecto. 

¿Cuándo se lanzará VideoGigaGAN AI?

Esta herramienta de inteligencia artificial se encuentra actualmente en desarrollo. Esto significa que el trabajo está en progreso y aún no hay un producto final. Vamos, que aún no está disponible y no hay forma de probarlo.

Aún no hay una fecha estimada de lanzamiento. Sin embargo, una vez que completen el trabajo y lancemos la primera versión de esta tecnología, se podrá integrar en otras herramientas de Adobe, generalmente a través del desarrollo de IA, como Adobe Premiere Pro. 

Sin embargo, esto aún no se sabe. Hoy en día, existen muchas herramientas basadas en inteligencia artificial que intentan mejorar la calidad de los vídeos borrosos. Sin embargo, los resultados suelen estar plagados de artefactos, lo que hace que la ampliación sea una experiencia insatisfactoria. Adobe reconoce estos desafíos y pretende superarlos con VideoGigaGAN AI.

Esta herramienta es completamente diferente a los métodos tradicionales para mejorar imágenes borrosas. VideoGigaGAN AI no sólo elimina el contenido borroso, sino que también puede convertir vídeos a versiones HD y aumentar la resolución hasta 8 veces su tamaño original.

Los primeros pasos de VideoGigaGAN AI sorprendieron a muchos. Esta herramienta reduce el flasheo en los vídeos, mejora la coherencia fotograma a fotograma y mejora significativamente la calidad de la imagen. Además, se observó un aumento significativo en la resolución, lo que significa un avance importante en la industria del procesamiento de video.