Un equipo de investigadores de inteligencia artificial de Google Research ha desarrollado un generador de texto a video basado en inteligencia artificial de próxima generación llamado Lumiere. El grupo ha publicado un artículo que describe sus esfuerzos en el servidor de preimpresión arXiv .
En los últimos años, las aplicaciones de inteligencia artificial han pasado del laboratorio de investigación a la comunidad de usuarios en general; los LLM como ChatGPT, por ejemplo, se han integrado con los navegadores, lo que permite a los usuarios generar texto de formas sin precedentes.
Más recientemente, los generadores de texto a imagen han permitido a los usuarios crear imágenes surrealistas. Y los generadores de texto a video han permitido a los usuarios generar videoclips cortos usando nada más que unas pocas palabras. En este nuevo esfuerzo, el equipo de Google ha llevado esta última categoría a nuevas alturas con el anuncio de un generador de texto a vídeo llamado Lumiere .
Lumiere, que probablemente lleva el nombre de los hermanos Lumiere, quienes fueron pioneros en los primeros equipos de fotografía, permite a los usuarios escribir una oración simple como «dos mapaches leyendo libros juntos» y obtener un video completamente terminado que muestra a dos mapaches haciendo precisamente eso, y lo hace en resolución sorprendentemente alta. El nuevo generador representa un siguiente paso en el desarrollo de generadores de texto a video al crear resultados mucho más atractivos.
Google describe la tecnología detrás del nuevo generador como una «arquitectura innovadora de espacio-tiempo U-Net». Fue diseñado para generar video animado en una sola pasada de modelo.
El video de demostración muestra que Google agregó funciones adicionales, como permitir a los usuarios editar un video existente resaltando una parte del mismo y escribiendo instrucciones, como «cambiar el color del vestido a rojo». El generador también produce diferentes tipos de resultados, como estilizaciones, donde se crea el estilo de un tema en lugar de una representación a todo color. También permite subestilos, como diferentes referencias de estilo. También realiza imágenes cinematográficas, en las que un usuario puede resaltar parte o la totalidad de una imagen fija y animarla.
En su anuncio, Google no especificó si planea lanzar o distribuir Lumiere al público, probablemente debido a las obvias ramificaciones legales que podrían surgir debido a la posible creación de videos que violen las leyes de derechos de autor.
Fuente: techxplore.com