让照片动起来的 DeepFake虽然央视网这次并没有直接点名具体所涉及到的技术。
但从效果上来看，DeepFake 就可以做到这点。
DeepFake 大家很熟悉了，简单来说有两种基本方法。
第一种是将两个人的大量面部照片输入编码器，编码器在压缩图像的同时提取出其面部共同特征。
然后在恢复图像时，把第一个人的压缩照片输入另一个人的解码器中复原，产生“交换“面部的效果。
第二种是生成对抗网络（GAN），让两个 AI 算法（生成器和判别器）相互对抗。
由生成器输入随机噪声并转化为图像添加到真实图像中，经判别器判别。
经过大量的循环和训练后，二者都得到改进，能够输出不存在的逼真人脸。
△ 图源：3DCAT
但传统的 DeepFake 需要有大量的原始数据，并且要经过好几天的训练才能达到高质量的效果。
若是想达到实时的效果，怎么办？
黎颢（没错，就是那个杀马特教授）团队就提出，将 DeepFake 和他此前做的 paGAN 结合到一起，做了一个新系统。
如此以来，在不需要大量训练数据的情况下，这个系统也可以实时地渲染出合成图像。
paGAN 弥补了 DeepFake 需要大量训练数据的不足，简单来说就是把训练的工作量都放到台下去做。
实时渲染有三个问题需要克服：
需要处理大量数据以及使用更深层网络训练更好的模型，需要生成高分辨率帧并且能够并行或者安排任务。
而 paGAN 预先经过大量的训练，分析过很多图片的面部和表情。这样内部数据模型就可以在接触到新的图形时做出“条件反射”。
再加上 paGAN 使用了新的 ML 方法和更好的底层优化，达到了实时渲染的效果。
△ 图源：3DCAT
