科技前沿看点计算机科学家开发了一种新工具 可以从主题文本生成视频

新时代高科技不计其数越来越发达,小伙伴们看过不少科技新闻吧,在我们生活中应该也用到很多这些高科技东西,有哪些小伙伴值的关注的呢,今天就跟大家分享一篇有关科技方面知识,希望大家会喜欢。

在一个由新手摄影师和摄像师组成的世界里,通过他们的智能手机和手持设备捕捉大量的内容,需要一个智能的、易于使用的工具来自动化电影和视频蒙太奇的创作。到目前为止,许多高质量的视频仍然依赖于专业的基于框架的编辑工具来操纵原始片段,并制作出一个具有迷人故事情节的连贯视频。

来自中国清华大学和北航大学、美国哈佛大学和以色列IDC Herzliya的全球计算机科学家团队开发了“Write-A-Video”,这是一种从主题文本中生成视频的新工具。使用单词和文本编辑,该工具自动确定从存储库中选择哪些场景或镜头来说明所需的故事情节。该工具使新手用户能够以简单和用户友好的方式制作高质量的视频蒙太奇,而不需要专业的视频制作和编辑技能。

该小组将于11月17日至20日在澳大利亚布里斯班举行的ACMS IGgraphAsia会议上介绍他们的工作。如今已进入第12个年头的SIGGRAP HAsia吸引了来自世界各地最受尊敬的技术和创意人员,包括计算机图形学、动画、交互性、游戏和新兴技术。

虽然现有的视频编辑工具仍然需要视频处理和编辑方面的知识,但研究人员的新方法允许新手创造更自然地讲述故事的视频。研究人员说,“写-A-视频”(write-A-Video)允许用户通过简单地编辑伴随视频的文本来创建视频蒙太奇。例如,添加或删除文本,并将句子围绕转换为视频编辑操作,例如找到相应的镜头,裁剪和重新排列镜头,以及创建最终的视频蒙太奇结果。

IDC Herzliya的Efi Arazi计算机科学学院院长Ariel Shamir教授说:“Write-A-Video利用当前自动视频理解的进步和独特的用户界面,让视频创作更自然、更简单。”“使用我们的工具,用户主要以编辑文本的形式提供输入。该工具自动从视频存储库中搜索语义匹配的候选镜头,然后使用优化方法通过自动切割和重新排序来组装视频蒙太奇。”

“写作-A-Video还允许用户使用电影惯用语来探索每个场景的视觉风格,例如,节奏较快或较慢的电影,较少或较多的内容移动等。”北航大学的王苗博士解释说。

在从视频存储库中选择候选镜头时,该方法还考虑了镜头的审美吸引力,选择了那些理想照明的、聚焦良好的、不模糊或不稳定的镜头。“在任何时候,用户都可以渲染电影和预览视频蒙太奇的结果与附带的配音旁白。”清华大学的胡石敏教授说。

该小组的研究表明,智能数字工具将人类的能力和算法结合在一起,可以帮助用户在创造过程中。沙米尔说:“我们的工作展示了基于习惯用法的计算编辑中自动视觉语义匹配的潜力,提供了一种智能的方法,让非专业人员更容易获得视频创作。”

对于这项研究,该方法在各种主题文本和视频存储库上进行了测试,并进行了定量评估和用户研究。没有任何视频编辑经验的用户可以使用Write-A-Video工具制作令人满意的视频,有时甚至比使用基于帧的编辑软件的专业人员更快。在SIGgraphAsia,该团队将演示写-A-视频应用程序,并展示各种文本到视频制作的示例。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢