deepfake的意思是:深度伪造。
近年来,计算机视觉领域的生成技术越来越强,相应伪造技术也越来越成熟,从DeepFake换脸到动作模拟,让人难辨真假。从效果上来看,就是生成的图像更逼真了,人物在视频里动,背景也不会发生变化。
输入的多张源图片通常都会提供不同的外观信息,减少了生成器幻想的空间,比如下面这两张作为模型输入。学术界对于视频模仿最早可以追溯到2005年。
很多项目面部再现的实时表情传输、Face2Face、合成奥巴马、Recycle-GAN、ReenactGAN、动态神经辐射场等等多样化地利用当时有限的几种技术,如生成对抗网络(GAN)、神经辐射场(NeRF)和自编码器。
并不是所有方法都在尝试从单一帧图像中生成视频,也有一些研究对视频中的每一帧进行复杂的计算,这实际上也正是Deepfake所走的模仿路线。
但由于DeepFake模型获取的信息较少,这种方法需要对每个视频片段进行训练,相比DeepFaceLab或FaceSwap的开源方法相比性能有所下降,这两个模型能够将一个身份强加到任意数量的视频片段中。