查看完整版本: [-- 一个画面,两条时间线!用 AI 改写视频不同主角时间,效果堪比大片 --]

秋无痕论坛 -> 『软件使用交流区』 -> 一个画面,两条时间线!用 AI 改写视频不同主角时间,效果堪比大片 [打印本页] 登录 -> 注册 -> 回复主题 -> 发表主题

hexj9 2020-10-02 16:49



前阵子大热的电影《信条》你看了吗?
无论是从剧情还是制作上这部电影都掀起了一阵舆论浪潮。影片中令人印象最深刻的无疑是几场 “时间钳形大战”,高度还原了时间逆转的整个过程,而不是直接跳转到过去的某个时间点。
为了把时间在不同方向上的运行真实的展示出来,导演诺兰表示,在这部电影中用到的特效镜头不到 300 个,甚至可能比大多数的浪漫喜剧电影还要少。真是让人实名瑞斯拜。
诺兰尽量坚持实拍也是他自己的 “信条”,但随着科技的进步,不可否认,技术能做到的事情越来越多。
这不,最近谷歌和牛津大学的研究人员发表了一款 “视频剪辑新利器”,可以 “重写时间”!
在视频里可以只对特定人物的动作实现快进、慢放甚至删除等,而不影响画面上的其他人物,还可实现多种特殊动态效果。
来和文摘菌一起看看吧~
当深度神经网络学会了 “掌控时间线”
先来看一个例子,这里有一个孩子们跳水的视频,原视频中他们是分别跳入水中的:

研究人员用了一种全新的深度神经网络进行视频处理,成功的做到让他们一同跳入水中!见证奇迹的时刻:

是不是完全没有修改痕迹,看起来是如此的自然流畅。
这就是谷歌和牛津大学研究人员提出的 “时间重写术”,他们训练了一种深度神经网络,学习如何将视频分层分解。
这个模型不仅在不同的层中分离了人的运动,而且还可以捕捉与那些人相关的各种场景元素 (例如,孩子们在水中溅起的水、阴影、映像)。当视频中的人被 “重写时间”的时候,这些相关的元素也会自动与他们一起重新计时,这使得研究人员能够为各种重新计时的效果创建真实的视频重染。
再来看看这个 “时间重写”大法还能做出什么毫无违和的视频~
“冻结时间”
如下图所示,这里有两对小朋友在跳拉丁舞,可以看到,在原视频中从视频开始他们就一直在跳。

接下来,就要 “冻结时间”了!就像我们在电影中看到的那样,有超能力的主角可以在众人静止的时候活动。那么未来这种特效似乎可以放心的交给 AI 了!
就像这样,AI 可以对时间进行偏移,例如偏移时间为 1 秒,我们可以看到右侧这对小朋友静止了 1 秒才开始跳,自然他们的舞蹈动作相对左侧的对照组也会随之延后 1 秒。

除此之外,这个神经网络还可以随心所欲的控制 “冻结”谁以及 “冻结”时间,比如跳到一半让右边这对停一下~

左边这对先停一下再跳也没问题~

你以为就这??当然不止。这个神经网络还可以让视频中的人物变成 “重影”的效果。

hexj9 2020-10-02 16:50
人物叠化
在进行视频剪辑的时候,有一种叫做 “叠化”的转场效果不知大家是否有所耳闻。什么意思呢?就是在视频中两个片段切换的时候,为了让切换效果更加自然而采取的一种过渡手段。也就是说,前一个片段的结尾和后一个片段的开头重叠在一起。
而谷歌和牛津大学研究人员训练的这个神经网络可以做到与 “叠化”转场类似的效果。研究人员把这个效果称之为——Duplication。区别于视频转场,这个效果可以通过重写时间来叠化一段视频中的人物动作。
来看个例子,原视频中粉色裤子的小女孩做了一个侧手翻:

通过神经网络的渲染,可以变成以下效果:

侧手翻的小女孩的动作叠化后是不是有点炫酷~ 另外右边蓝色衣服的女孩用到了冻结效果。两则视频对比来看,周围的环境完全看不出有什么异样,这样的特效可以说是非常成功了~
通过分层神经渲染,只重新定义人物时间线,视频毫无违和感!
所有这些效果都是通过一种新的基于深度神经网络的模型实现的,这项技术的核心是分层神经渲染。
即该模型可以根据视频进行优化,将每帧图像分解为一组层,每个层由一个 RGB 彩色图像和一个不透明蒙版α(统称为 “RGBA”)组成,与视频中特定的单个 / 多个人物相关联。

背景层以及 1-3 层
需要注意的是,研究人员在这项研究中只关注重写时间。也就是说,输出视频中的人物姿态都是在原视频中出现的,他们不生成新的、看不见的姿态或视点。
值得一提的是,他们的方法不需要手动注释或显式表示动态场景元素,如阴影、水花和蹦床变形;而是只需要对人员进行粗略的参数化,然后,模型会自动学习将与人物相关的场景分组重建。重要的是,重定时效果可以通过对层的简单操作(移除、复制或插值特定层)而产生,而无需额外的训练或处理。


分层神经渲染
更多理论详情,可以参见论文《Layered Neural Rendering for Retiming People in Video》:
https://arxiv.org/pdf/2009.07833.pdf
这项研究的相关代码也将在 SIGGRAPH Asia 2020 上发布,大会预计将在 12 月 4 日举行。

jxm 2020-10-03 01:24
谢谢楼主精彩分享。

wjwddd 2020-10-05 17:10
谢谢楼主辛苦分享,了解一下。

hexj9 2020-10-08 08:55
这个可以看看,了解一下。

mc2800 2020-10-09 17:49
看看了解一下,谢谢总版分享!


查看完整版本: [-- 一个画面,两条时间线!用 AI 改写视频不同主角时间,效果堪比大片 --] [-- top --]



Powered by PHPWind v7.3.2 Code © 2003-08 PHPWind
Time 0.030511 second(s),query:3 Gzip enabled

You can contact us