VideoPoet是一个基于大型语言模型（LLM）的零样本视频生成工具，由谷歌开发。VideoPoet能够执行多种视频生成任务，包括文本到视频、图像到视频、视频风格化、视频修复以及视频转音频等。
技术特点和应用场景
VideoPoet的主要技术特点包括：
- 零样本生成：无需特定数据即可生成视频，这得益于其预训练的MAGVIT V2视频分词器和SoundStream音频分词器，能够将不同长度的图像、视频和音频剪辑转换成统一词汇表中的离散代码序列1。
- 多模态兼容：这些代码与文本型语言模型兼容，便于与文本等其他模态进行结合。
- 连贯长视频生成：能够生成连贯的长视频，保持物体的运动、风格和身份在超过8秒的视频输出中保持一致。
- 多任务预训练：通过多任务预训练策略，VideoPoet展示了任务泛化能力，可以将多个能力串联起来执行新任务，例如图像到视频的动画化和视频到视频的风格化。
用户评价和行业影响
VideoPoet在生成准确遵循文本提示的有趣动作方面表现优异，展示了其在零样本视频编辑和任务链方面的强大能力。其动作生成的丰富性和流畅度令人印象深刻，被广泛认为是革命性的zero-shot视频生成工具。此外，VideoPoet的应用场景包括短视频、动漫动画、自然风光和教育视频等。
未来发展趋势和潜在应用
未来，VideoPoet有望在混合动态环境中发挥重要作用，成为拍摄的重要补充和延展。尽管当前视频生成的主要挑战是产生连贯的大动作，但随着技术的不断进步，VideoPoet有望在视频生成领域取得更大的突破和应用
静态图像轻松生成两人拥抱的的动态视频AI工具