Deepfakes给小电影换了脸，人脸识别AI还蒙在鼓里：误识率95%
车栗子 发自 凹非寺
量子位 出品 | 公众号 QbitAI
就算已经被全网封杀，给无数小电影换脸的Deepfakes也不会淡出人们的视线。
https://p3-sign.toutiaoimg.com/pgc-image/b4a2bee29e77423e9944f751386d8b86~tplv-tt-large.image?x-expires=1972375764&x-signature=h0A2nzlakVSln3qOgRzuq1ONHDM%3D
△ 来自差评：十元小姐姐的合成小电影
毕竟，它就像冬日里的阳光，给万千少年送去女神的温暖。
人类嘛，明知是换了脸，但只要看上去够自然，不影响视听享受，就不会有再多要求。
但是，AI看视频可不是为了痛快：比如在安防领域工作的人脸识别系统。
那么，人脸识别AI能看出哪些视频是Deepfakes生成的么？
https://p3-sign.toutiaoimg.com/pgc-image/7b0ae2dc141240ea9342713513afb2f8~tplv-tt-large.image?x-expires=1972375764&x-signature=V%2B84L0bfXYsF6HORqUbAbII2nKc%3D
△ 用GAN换了脸
瑞士Idiap研究所的科学家，用GAN给300多段视频换脸，然后测试了两套先进的人脸识别系统：一个基于VGG，一个基于Facenet。
结果发现，两只AI都分不清，哪些视频被换了脸。
换脸要自然
要考验人脸识别系统是否目光如炬，先要有一个优秀的数据集。
研究人员加工了公开的VidTIMIT视频数据集。VidTIMIT里面，每个主人公都有10段视频。
https://p3-sign.toutiaoimg.com/pgc-image/60499bcfe9f84fd6b1bd4af6ac6c9144~tplv-tt-large.image?x-expires=1972375764&x-signature=SfXGG3agsxZ83JJjSE81K0i%2BjRU%3D
△ 原始视频A
https://p3-sign.toutiaoimg.com/pgc-image/15af201a7e334ea0a0dacbe2a43a718e~tplv-tt-large.image?x-expires=1972375764&x-signature=YXxKRruiy%2B1I3h0SzgBhfPo6leQ%3D
△ 原始视频B
从数据集里选出了16对 (32位) 长相接近的主人公，把一个人 (A) 的脸部特征，用GAN换给同组的另一个人 (B) 。
就这样，生成了320段换脸视频。
https://p3-sign.toutiaoimg.com/pgc-image/7b0ae2dc141240ea9342713513afb2f8~tplv-tt-large.image?x-expires=1972375764&x-signature=V%2B84L0bfXYsF6HORqUbAbII2nKc%3D
△ A的脸给了B
然后，按照视频的分辨率分为高清 (HQ，128x128) 和低清 (LQ，64x64) ，就有了620段换脸视频 (不知为何少了20段)。
现在，换脸数据集已经可以下载了，叫DeepfakeTIMIT，传送门在文底。
人脸识别已阵亡
数据集有了，就要选择测试对象。
研究人员决定让两个开源的预训练模型接受测试：一个基于VGG，一个基于Facenet。
两个模型都是如今人脸识别领域的前沿。
https://p3-sign.toutiaoimg.com/pgc-image/ffefad510b1b499caab1c732cfe025ad~tplv-tt-large.jpeg?x-expires=1972375764&x-signature=fl2z%2FA%2FtouGTetSiAKj13Fsv3C4%3D
△ a的脸给了b，就得到c
95%分不清
考核标准是误识率 (FAR) ，指的是两段视频里的人物不同、却被AI判断为同人的概率 (越低越好) 。
第一步，给AI看没有换过脸的原始视频，计算出一个判别用的阈值 (Threshold) 。后面的测试里，如果置信分高于阈值，AI就判断为同人。
第二步，给AI看换脸视频，得出各自的误识率：
VGG (LQ) ：88.75%VGG (HQ) ：85.62%Facenet (LQ) ：94.38%Facenet (HQ) ：95.00%
https://p3-sign.toutiaoimg.com/pgc-image/7e5f4d0ddf4c413fb54d36c4957673d5~tplv-tt-large.jpeg?x-expires=1972375764&x-signature=u%2BQtV3%2FBPjx7v1QFrakYDvBjbZ4%3D
误识率高，表示VGG和FaceNet都没有敏感地察觉视频被换了脸，还以为是同样的人。
对比一下，只投喂天然视频的时候，两个模型的误识率分别是0.00%和0.03%。可在投喂换脸视频之后，AI就被严重迷惑了。
https://p3-sign.toutiaoimg.com/pgc-image/04dd3326c2ef4d3b96b07670fd29f698~tplv-tt-large.jpeg?x-expires=1972375764&x-signature=VMMIU52vsksF%2BujpfFzm8BDl760%3D
△ 脆弱的人脸识别
所以团队觉得，在人脸识别系统之外，还需要另外的检测方法，来分辨Deepfake换脸视频。
另外的打假技巧
研究人员用的第一种方法是读唇 (Lip-Sync) ：
把嘴唇动作和视频里的原始音频做对比，如果发现明显不同步，就判断为换过脸。
但读唇法并没有明显的效果：
https://p3-sign.toutiaoimg.com/pgc-image/77cb66aec657475dab5a122fe0ee36f4~tplv-tt-large.jpeg?x-expires=1972375764&x-signature=74ltqohLEDT3YoUV68gcvwttuvY%3D
△ FRR是同人被误判为非同人的概率，越小越好，EER为FRR=FAR的点，亦越小越好
其他方法，就是单纯基于图像的了。
其中，表现最好的是把图像质量测量法 (Image Quality Measures) 和支持向量机 (Support Machine Vector) 结合在一起的方法：
IQM+SVM，高清测试的EER只有8.97%，低清测试的EER只有3.33%。这样看来，奏效的依然是基于图像的算法。
https://p3-sign.toutiaoimg.com/pgc-image/a2e2e990dab44001a8ae91a51f56c00a~tplv-tt-large.image?x-expires=1972375764&x-signature=1SRKi05LOQkZgUYmZrjFQNiEKyQ%3D
△ 视频换脸过后，画质会受到影响
而为高清视频换脸，通常比低清视频更难识别。而换脸技术日新月异，今后的Deepfake视频，AI可能就更难察觉了。
辉煌与忧伤
让人类飘飘欲仙，也让人脸识别AI无动于衷，视频换脸果然是一门得天独厚的技能。
https://p3-sign.toutiaoimg.com/pgc-image/1bb4a3bb5366440087f53e9f85673f2e~tplv-tt-large.image?x-expires=1972375764&x-signature=nQkDkP7wK3uCCVKCSkg94oKOkJg%3D
去年12月，一位用户名为deepfakes的伟人，把一段AI加工的小电影传上Reddit，原本动作片的女主角，换成了神奇女侠。没过多久，同名算法也开源了。
如今又到年关，世界各地的人类也在这技术的恩泽之下，幸福了一年。
虽然，Reddit讨论版不在了，GitHub开源代码没有了，PornHub也全面清除了用Deepfakes算法做的视频；
但那些已经用上了算法、或是用上了FakeApp傻瓜应用的人们，依然可以继续享用，也可能用自己的方式继续传播Deepfakes。或者，干脆开发新的换脸技能。
https://p3-sign.toutiaoimg.com/pgc-image/6497a8d4d542411f8fc48084a5bed12d~tplv-tt-large.image?x-expires=1972375764&x-signature=UxmUnljjmHI%2BuLAwGIz3w%2FIZ6Zk%3D
△ 来自CMU：换脸也不是独门绝技
肖像权当然不容侵犯，但如果类似的技术只是自用而不传播，有Deepfakes的世界也可以很美好。
论文传送门：
https://arxiv.org/pdf/1812.08685.pdf
数据集下载：
https://www.idiap.ch/dataset/deepfaketimit
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态 收藏了 好美 gan在图像生成上大有可为 转发了
页:
[1]