hexj9 |
2021-11-05 15:26 |
让照片动起来的 DeepFake 虽然央视网这次并没有直接点名具体所涉及到的技术。 但从效果上来看,DeepFake 就可以做到这点。 DeepFake 大家很熟悉了,简单来说有两种基本方法。 第一种是将两个人的大量面部照片输入编码器,编码器在压缩图像的同时提取出其面部共同特征。 然后在恢复图像时,把第一个人的压缩照片输入另一个人的解码器中复原,产生“交换“面部的效果。 第二种是生成对抗网络(GAN),让两个 AI 算法(生成器和判别器)相互对抗。 由生成器输入随机噪声并转化为图像添加到真实图像中,经判别器判别。 经过大量的循环和训练后,二者都得到改进,能够输出不存在的逼真人脸。
△ 图源:3DCAT 但传统的 DeepFake 需要有大量的原始数据,并且要经过好几天的训练才能达到高质量的效果。 若是想达到实时的效果,怎么办? 黎颢(没错,就是那个杀马特教授)团队就提出,将 DeepFake 和他此前做的 paGAN 结合到一起,做了一个新系统。 如此以来,在不需要大量训练数据的情况下,这个系统也可以实时地渲染出合成图像。 paGAN 弥补了 DeepFake 需要大量训练数据的不足,简单来说就是把训练的工作量都放到台下去做。 实时渲染有三个问题需要克服: 需要处理大量数据以及使用更深层网络训练更好的模型,需要生成高分辨率帧并且能够并行或者安排任务。 而 paGAN 预先经过大量的训练,分析过很多图片的面部和表情。这样内部数据模型就可以在接触到新的图形时做出“条件反射”。 再加上 paGAN 使用了新的 ML 方法和更好的底层优化,达到了实时渲染的效果。
△ 图源:3DCAT |
|