梁国豪 董力铭 林宏斌
广东广州 广东警官学院 510000
摘要： AI换脸技术能准确识别目标面部、高效率替换目标面部、高质量伪造面部。本论文设计了关于AI换脸的实验，其中运用了FakeApp2.2.0、DeepFacelab1.0、DeepFaceLab2.0中三种不同的神经网络算法，验证了AI换脸技术的可行性、高效性、准确性。还设计了对AI换脸视频进行初步检验的实验，通过WINHEX查看AI换脸视频十六进制信息寻找其文件信息特征，验证了AI换脸视频会因为其所用换脸软件固有的合成视频批处理文件对制作的视频留下特有的十六进制信息特征，并且不同的换脸软件遗留的十六进制信息特征互不相同。可实现对AI换脸视频的初步检验和对AI换脸视频的制作软件溯源。本文所研究方法对选择何种神经网络算法实现换脸有指导意义，对换脸视频的溯源检验有参考价值。
关键词： AI换脸； 深度学习； 换脸数据库； 信息特征； 软件溯源
1．前言
换脸技术一直以来都是一个热门的研究方向，如何做到高效率，高精确度，高清晰度的替换脸部一直是研究努力的方向。AI换脸技术就是利用深度学习模仿人脑神经结构自动的自我迭代和优化，在输入替换与被替换的面部中自动寻找关联特征在预定的数据模型中并行训练迭代，通过对替换面部的编码和解码后得出的被替换面部，自动进行脸部的替代的技术。本论文对AI换脸使用的软件FakeApp、DeepFaceLab的探究和进行AI换脸视频制作的实验，还有对换脸视频的初步检验方法进行探讨和研究。
2．深度学习AI换脸的现状研究
（1）AI换脸技术的应用数据库。AI换脸技术是一项热门的研究，有许多机构建立了用于人脸交换研究的应用数据库。其中FaceForensics++包含了1000个真实面部的视频，再通过不同的伪造方法各制作出1000个伪造面部的视频。既使用了计算机图形学中的面部转换方法，也使用基于深度学习的AI技术的方法。而Celeb-DF应用数据库可以提供更高质量的伪造换脸视频。低质量的AI换脸视频过于容易被检测，甚至有些伪造影像是肉眼可见的。于是作者改善了其深度学习的模型算法，制作更加真实、颜色更加贴合、更高视觉质量的伪造面部视频并且添加到Celeb-DF应用数据库中。
（2）AI换脸技术的实现软件。AI换脸软件是基于使用深度学习算法通过运行AI换脸数据模型制作伪造面部视频的软件。其中FakeApp使用是基于网络用户deepfakes的原始算法。进行数据模型的迭代运算得出效果较好的模型数据后，再运用模型数据智能化操作目标人脸替换原始人脸来制作换脸视频。而DeepFaceLab主要是使用2.0新版本，在使用深度学习换脸技术同时，升级的版本主要体现在作者更新了新一代的名为SAEHD的数据模型参数，这个模型最高可以接受分辨率为256的图片进行训练，可以在面部替换的阶段对替换图像进行例如色彩处理，锐度调整，模糊蒙版等多种参数微调以实现更好的被替换面部的图像输出效果。
3．深度学习AI换脸技术的应用实验
（1）FakeApp2.2.0实验步骤：从视频中截取图像并且自动提取面部、输入替换与被替换的面部进行数据模型迭代训练、使用训练完成的高质量数据模型进行智能换脸操作并合成视频。
（1）DeepFaceLab（简称DFL）1.0及2.0实验步骤：分别截取被替换与替换面部的两组视频中的全部帧、从两组视频的全部帧中自动识别并且提取可用面部、使用高训练完成度模型对被替换面部的图片进行手动的替换参数调整与自动的智能面部识别替换、将面部已被替换后的成品图片合成为完整的含有替换后视频画面和原始音频的视频。而版本不同的区别在于：输入两组面部的图片至数据模型中进行训练与迭代。DeepFaceLab1.0使用SAE神经网络模型。DeepFaceLab2.0则使用SAEHD神经网络模型，加强了模型清晰度和颜色的表现。
FakeApp2.2.0制作的AI换脸视频中除了偶发的存在闪烁的伪影，其余肉眼无法观察出不自然处。DeepFaceLab1.0和2.0版本制作的AI换脸视频肉眼观察五官方向正确、眼睛方向正确、光照方向正确、面部与头部整体拼接自然、视频全程不存在闪烁的伪影。综合来说，DeepFaceLab1.0和2.0版本制作的AI换脸视频质量比FakeApp的高，并且肉眼观察自然。并且有效提高了伪造脸的真实性，达到鱼目混珠的效果。
4．深度学习AI换脸技术的检验鉴定
利用文件十六进制数据机构和数据规律对换脸视频进行检验。使用WINHEX打开未被AI换脸的原视视频、AI换脸软件FakeApp2.2.0、DeepFaceLab1.0和DeepFaceLab2.0制作的伪造面部视频，查看其有关“Lavf”标志的十六进制信息。即可使用“Lavf”标志的十六进制信息对AI换脸视频进行初步检验和制作软件的溯源。
（1）未被换脸原视视频。在原始视频十六进制信息中并未发现“Lavf”标志。
（2）FakeApp2.2.0输出视频。换脸视频中发现十六进制码为4C 61 76 66 35 38 2E 33 2E 31 30 30以及对应ANSI ASCII字符编码为Lavf58.3.100的“Lavf”标志。
（3）DeepFaceLab1.0输出视频。2019年一月、六月、十一月的三个不同版本制作的伪造换脸视频文件信息中均可发现十六进制码为4C 61 76 66 35 38 2E 39 2E 31 30 30以及对应ANSI ASCII字符编码为Lavf58.9.100的“Lavf”标志。
（4）DeepFaceLab2.0输出视频。2020年一月、二月、三月的三个不同版本制作的伪造换脸视频文件信息中均可发现十六进制码为4C 61 76 66 35 38 2E 32 39 2E 31 30 30以及对应ANSI ASCII字符编码为Lavf58.29.100的“Lavf”标志。
经过实验发现，未被AI换脸的原始视频不存在“Lavf”标志；而经过AI换脸的视频会存在“Lavf”标志，可解释为AI换脸技术的软件在制作伪造面部视频后，会在输出的伪造面部视频文件的十六进制信息内留下“Lavf”标志。
换脸视频文件信息 十六进制信息 “Lavf标志”
原视视频 无 无
FakeApp2.2.0 4C 61 76 66 35 38 2E 33 2E 31 30 30 Lavf58.3.100
DFL1.0 2019-2-13 4C 61 76 66 35 38 2E 39 2E 31 30 30 Lavf58.9.100
DFL1.0 2019-6-20 4C 61 76 66 35 38 2E 39 2E 31 30 30 Lavf58.9.100
DFL1.0 2019-11-11 4C 61 76 66 35 38 2E 39 2E 31 30 30 Lavf58.9.100
DFL2.0 2020-1-23 4C 61 76 66 35 38 2E 32 39 2E 31 30 30 Lavf58.29.100
DFL2.0 2020-2-23 4C 61 76 66 35 38 2E 32 39 2E 31 30 30 Lavf58.29.100
DFL2.0 2020-3-7 4C 61 76 66 35 38 2E 32 39 2E 31 30 30 Lavf58.29.100
表2 不同AI换脸软件间视频“Lavf”标志的比较
如上表所示，不同的AI换脸技术软件FakeApp2.2.0、DeepFaceLab1.0、DeepFaceLab2.0之间制作换脸视频时会留下不同的“Lavf”标志，但是同是DeepFaceLab1.0和2.0大版本下的不同月份时间更新的小版本的“Lavf”标志是相同的。以此，可以通过检验有无“Lavf”标志对AI换脸视频进行初步检验。并且也可以通过“Lavf”标志的序号，溯源至相应的AI换脸软件。
5．结论与展望
本论文相对于大多数假脸库使用自然场景的替换，使用了FakeApp2.2.0、DeepFaceLab1.0和DeepFaceLab2.0等软件基于深度学习的换脸技术框架下，采用简易场景及固定姿态的换脸实验分别制作了AI换脸视频，验证了使用AI技术智能地为原视视频替换目标面部。证明了AI换脸视频相对于公开数据库的换脸视频提高了假脸的真实度和不可察觉性。
本论文相对于国内外文献主要研究假脸算法识别率，研究中从鉴定实务的角度，从十六进制数据结构和数据规律出发提出检验鉴定方法。检验的方法来源于AI换脸软件在输出替换面部再合称为视频过程中，留下“Lavf”标志。深入研究发现，不同的AI换脸软件制作的伪造面部视频中具有不同的“Lavf”标志及其十六进制信息。
本论文只提出了对AI换脸视频的初步检测以及对三种免费流通于互联网的AI换脸软件制作的视频进行制作软件的溯源。未来随着AI技术的发展，AI换脸视频会被逐渐优化，以致本论文研究的文件信息特征可能将不再出现。未来的研究方向更应该从AI入手，使用AI检验AI的产物——AI换脸视频，这应该就是未来检验的重要方向。
参考文献：
[1]A. Rossler, D. Cozzolino, L. Verdoliva, C. Riess, J. Thies, and M. Nie?ner.FaceForensics: A Large-Scale Video Dataset for Forgery Detection in Human Faces[EB/OL](2018-3-24).https://arxiv.org/abs/1803.09179
[2]Y. Li, X. Yang, P. Sun, H. Qi, and S. Lyu, Celeb-DF: A New Dataset for DeepFake Forensics[EB/OL](2019-9-27).https://arxiv.org/abs/1909.12962
[3]P. Perez, M. Gangnet, and A. Blake.Poisson Image Editing, ACM Transactions on Graphics[EB/OL](2003-7).https://dl.acm.org/doi/10.1145/882262.882269