Lumiere: La nueva IA de Google para editar videos
El sector del vídeo sigue siendo uno de los pocos sectores que se enfrenta a la inteligencia artificial (IA) generativa, pero está superando cada vez más sus objetivos críticos. Google presentó Lumiere, un generador de imágenes basado en inteligencia artificial descrito como un modelo de difusión espacio-temporal para la producción de videos realistas. Sobre esto y mucho más estaremos hablando hoy. ¡No te lo pierdas!
¿Qué es Lumiere?
La tecnología parece ser capaz de producir videos que muestran movimientos realistas y variados, y es uno de los generadores de video de texto a animales con IA más avanzados disponibles hasta la fecha. La presentación mostró cómo crear imágenes de diferentes animales en diferentes estilos con texto. Aunque el resultado aún dista mucho del cine o la animación tradicionales, cada vez resulta más convincente.
Lumiere se distingue de otros modelos de generación de vídeo por su arquitectura única. A diferencia de los modelos existentes que componen fotogramas clave distantes y luego componen temporalmente en súper resolución, Lumiere renderiza toda la duración temporal del vídeo simultáneamente. Este enfoque mantiene la coherencia general a lo largo del tiempo, lo que da como resultado imágenes más fluidas y consistentes.
Los aspectos temporales y espaciales de su video se manejan simultáneamente en Lumiere, lo que le permite crear su video en un proceso fluido de principio a fin. Esto hace que la producción de vídeo sea más eficiente y sencilla al eliminar la necesidad de unir partes o fotogramas pequeños.
Características de Lumiere
Esta app todavía está en desarrollo, pero cuando esté disponible, Lumiere ofrecerá una variedad de características impresionantes que demuestran sus capacidades como generador de video con IA. Algunas de estas características incluyen:
Creación de texto a video
Lumiere puede convertir instrucciones escritas en nuevos videos. Deben ser órdenes claras para que la IA pueda comprender y generar un buen contenido.
Convierta imágenes en video
Lumiere convierte imágenes fijas en video, agregando movimiento y dinamismo a sus fotografías o pinturas.
Creación de vídeos basada en estilos
Lumiere puede utilizar imágenes de referencia para crear vídeos con un estilo específico.
Edición de video basada en texto
también te permite editar tus videos usando pistas basadas en texto que facilitan la creación de videos de apariencia profesional.
Función de coloración de vídeo
Lumiere puede cambiar la apariencia de los objetos en un vídeo, por ejemplo, cambiando la ropa que usan las personas creadas con el segundo conjunto de instrucciones.
Limitaciones de Lumiere
El artículo de investigación que acompaña al lanzamiento de Lumiere afirma que el este modelo generará videos con una resolución baja. A pesar de esto aseguran que el producto Lumiere es superior a los modelos de síntesis de vídeo con IA existentes. Google entrenó un modelo de texto a video basado en un conjunto de datos que contiene 30 millones de videos y sus subtítulos de texto asociados.
Los vídeos generados por IA han crecido significativamente en calidad y funcionalidad en los últimos años. Hace unos meses, Google lanzó Gemini, que puede interpretar vídeos a nivel contextual. Meta también ha introducido su propio generador de vídeos con IA, similar a Tik Tok. Hasta ahora, estos avances han hecho posible crear videos de parodias surrealistas, pero su aparición también ha traído consigo preguntas sobre cómo podrían usarse para manipular y crear deepfakes de individuos o políticos.
¿Cómo funciona Lumiere?
Presentado en Github, este modelo de IA puede dar vida a palabras e imágenes fijas y convertirlas en secuencias de vídeo muy realistas. Los intentos anteriores de crear imágenes realistas dejaban mucho que desear. Era fácil notar una falta de dinamismo y una evidente artificialidad en el movimiento. A primera vista, estaba claro que la imagen era una creación digital, lo que limitaba su uso e impactaba la experiencia del espectador.
Al reconocer estas limitaciones, los ingenieros de Google reinventaron el método y crearon un nuevo modelo que permite crear un vídeo completo a la vez. Estos cambios tecnológicos fueron muy importantes. Este modelo ya no se basa en unir fotogramas individuales ni en aumentar artificialmente la resolución para crear la ilusión de conectividad.
Lumière entrelaza cada momento del vídeo con una tecnología sin precedentes y el resultado final es natural. Las implicaciones de este progreso son de largo alcance y prometedoras. Desde entretenimiento hasta educación, la capacidad de crear videos realistas y dinámicos de manera fácil y eficiente abre posibilidades prácticamente infinitas.
Lumiere aún no ha sido lanzado al público, pero las expectativas son altas por sus características. Se espera que esta herramienta de inteligencia artificial permita a los usuarios crear videos con resultados de alta fidelidad a partir de texto o imágenes simples. Características esperadas:
Crea un nuevo estilo
Puedes crear una imagen de vídeo a partir de una foto de referencia o darle un efecto de dibujos animados. Por ejemplo, puedes hacer un perro con flores o una mariposa descansando sobre una planta o una llama en movimiento. También se ha demostrado que Lumiere completa vídeos incompletos o faltantes y rellena los huecos que faltan con gran precisión
Si quieres ajustar la ropa que llevas en el video, simplemente selecciona la pieza que deseas cambiar y usando inteligencia artificial podrás reemplazarla por otro outfit con solo describir lo que deseas. De este modo, los usuarios están expuestos a muchas formas nuevas de crear vídeos creativos con una buena edición. Lumiere no está disponible para todos en este momento.
Crea imágenes realistas y surrealistas
Lumière muestra sus habilidades creando sin esfuerzo vídeos increíblemente realistas o artísticamente surrealistas de hasta 5 segundos. Para ello, anima imágenes estáticas o segmentos de imágenes en respuesta a consultas de texto en lenguaje natural, lo que la convierte en una poderosa herramienta para la narración creativa y la creación de contenido.
Clonación y conversión de vídeo elegantes
Una de las características especiales de Lumiere es la capacidad de clonar estilos de imágenes y utilizarlos para crear vídeos con diferentes temas. Esto significa que puedes tomar imágenes, extraer su estilo único y aplicarlas a otro contenido para crear una serie de videos coherente y visual. Ya sea que quieras que tus videos parezcan estructuras de Lego, arte en origami o campos de flores, Lumiere te permite darle vida a tu visión con controles simples.
Pintura de video avanzada
Las capacidades de imágenes de vídeo de Lumiere cambian las reglas del juego. Esta tecnología permite a los usuarios eliminar sin problemas elementos u objetos no deseados de los fotogramas de vídeo. Simplemente pinte sobre cualquier área no deseada y Lumiere rellenará automáticamente el espacio hasta que sea casi invisible. Diga adiós a la distracción de los archivos y vídeos antiguos no deseados.
El futuro de las imágenes generativas de IA
Aunque Lumiere es actualmente un proyecto de investigación, representa un avance significativo en el campo del vídeo generativo mediante IA. Al eliminar la necesidad de una moderación agresiva del contenido y restricciones políticas, Lumiere libera todo el potencial de la creación de videos impulsada por IA. Pasará algún tiempo antes de que el público pueda aprovechar su poder, pero el lanzamiento de Lumiere es una señal brillante de lo que está por venir en el mundo de la creación de contenido creativo.
A medida que Lumiere continúa evolucionando, solo podemos imaginar las infinitas posibilidades que brindará a los cineastas, creadores de contenido y narradores. El futuro del vídeo basado en IA nunca ha parecido más emocionante y Lumière está liderando la tormenta en esta nueva era de la narración visual.
