主题 : 一个画面,两条时间线!用 AI 改写视频不同主角时间,效果堪比大片
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605058
威望: 529687 点
无痕币: 105 WHB
贡献值: 0 点
在线时间: 62604(时)
注册时间: 2008-12-25
最后登录: 2024-05-19

0 一个画面,两条时间线!用 AI 改写视频不同主角时间,效果堪比大片



前阵子大热的电影《信条》你看了吗?
无论是从剧情还是制作上这部电影都掀起了一阵舆论浪潮。影片中令人印象最深刻的无疑是几场 “时间钳形大战”,高度还原了时间逆转的整个过程,而不是直接跳转到过去的某个时间点。
为了把时间在不同方向上的运行真实的展示出来,导演诺兰表示,在这部电影中用到的特效镜头不到 300 个,甚至可能比大多数的浪漫喜剧电影还要少。真是让人实名瑞斯拜。
诺兰尽量坚持实拍也是他自己的 “信条”,但随着科技的进步,不可否认,技术能做到的事情越来越多。
这不,最近谷歌和牛津大学的研究人员发表了一款 “视频剪辑新利器”,可以 “重写时间”!
在视频里可以只对特定人物的动作实现快进、慢放甚至删除等,而不影响画面上的其他人物,还可实现多种特殊动态效果。
来和文摘菌一起看看吧~
当深度神经网络学会了 “掌控时间线”
先来看一个例子,这里有一个孩子们跳水的视频,原视频中他们是分别跳入水中的:

研究人员用了一种全新的深度神经网络进行视频处理,成功的做到让他们一同跳入水中!见证奇迹的时刻:

是不是完全没有修改痕迹,看起来是如此的自然流畅。
这就是谷歌和牛津大学研究人员提出的 “时间重写术”,他们训练了一种深度神经网络,学习如何将视频分层分解。
这个模型不仅在不同的层中分离了人的运动,而且还可以捕捉与那些人相关的各种场景元素 (例如,孩子们在水中溅起的水、阴影、映像)。当视频中的人被 “重写时间”的时候,这些相关的元素也会自动与他们一起重新计时,这使得研究人员能够为各种重新计时的效果创建真实的视频重染。
再来看看这个 “时间重写”大法还能做出什么毫无违和的视频~
“冻结时间”
如下图所示,这里有两对小朋友在跳拉丁舞,可以看到,在原视频中从视频开始他们就一直在跳。

接下来,就要 “冻结时间”了!就像我们在电影中看到的那样,有超能力的主角可以在众人静止的时候活动。那么未来这种特效似乎可以放心的交给 AI 了!
就像这样,AI 可以对时间进行偏移,例如偏移时间为 1 秒,我们可以看到右侧这对小朋友静止了 1 秒才开始跳,自然他们的舞蹈动作相对左侧的对照组也会随之延后 1 秒。

除此之外,这个神经网络还可以随心所欲的控制 “冻结”谁以及 “冻结”时间,比如跳到一半让右边这对停一下~

左边这对先停一下再跳也没问题~

你以为就这??当然不止。这个神经网络还可以让视频中的人物变成 “重影”的效果。
级别: 八片秋叶

UID: 232159
精华: 0
发帖: 45281
威望: 40982 点
无痕币: 10082 WHB
贡献值: 0 点
在线时间: 806(时)
注册时间: 2014-06-03
最后登录: 2024-05-19

谢谢楼主辛苦分享,了解一下。
Total 0.035773(s) query 5, Time now is:05-19 12:55, Gzip enabled 粤ICP备07514325号-1
Powered by PHPWind v7.3.2 Certificate Code © 2003-13 秋无痕论坛