近日,据AI产品汇,快手科技联合浙江大学、清华大学和香港中文大学,推出了全球首个多视角视频生成工具SynCamMaster。

视频扩散模型在模拟现实世界动态和保持3D一致性方面具有出色的能力,而多视点之间的动态一致性一直是研究的热点,这是虚拟拍摄等应用程序必不可少的功能。

与专注于4D重建的单个对象的多视图生成的现有方法不同,SynCamMaster旨在结合6自由度相机姿势,从任意视点生成开放世界视频。技术团队提出了一种即插即用模块,用来增强预训练的文生视频模型,用于多摄像机视频生成,并确保不同视点的内容一致。

大量实验表明,SynCamMaster可以从同一场景的不同视点生成一致的内容,并实现出色的视点间同步。此外,通过在多摄像机视频生成模型中引入参考视频,SynCamMaster的方法可以很容易地扩展到视频中的新视图合成任务中。

总而言之,SynCamMaster是一种将预训练的文本提升到视频模型的有效方法,用于从不同的视点生成开放域多摄像机视频。这一工具的发布,不仅为影视创作者提供了更加丰富的创作手段,还为虚拟拍摄等应用领域带来了新的发展机遇。通过SynCamMaster,创作者可以轻松实现多视角视频生成,从而解锁无限视角,创造出更加生动、逼真的虚拟场景和角色。

值得一提的是,快手在开源SynCamMaster的同时,还公开了其算法细节、应用场景以及整体流程等信息,为行业内的研究者和开发者提供了宝贵的参考和借鉴。

特此声明
本文为正观号作者或机构在正观新闻上传并发布,仅代表该作者或机构观点,不代表正观新闻的观点和立场,正观新闻仅提供信息发布平台。
分享至

还没有评论,快来抢沙发吧!