面对屏幕里AI换脸后的自己,《每日经济新闻》记者(以下简称每经记者)一时感到愕然:
寸头、条纹衫、偏瘦,电脑屏幕里端坐着的,正是记者本人,但这位“每经记者”却是一张明星的面孔。本人试着眨了眨眼睛、左右转头,屏幕里的“明星”也跟着眨了眨眼睛、左右转头;当本人把手放在脸前晃一晃时,他也重复了同样的动作。
(资料图)
每经记者测试实时换脸中遮挡面部
没错,以上正是每经记者暗访调查中,卖家远程给记者测试的实时换脸效果。卖家还颇显负责地向每经记者表示,可以进一步提升换脸效果:你的脸型跟他不匹配,刘德华更适合你!
近来,“AI换脸”爆火网络,还被和诈骗连接到了一起。继此前“10分钟被AI换脸骗走430万元”事件后,5月25日,又一起AI换脸诈骗事件被媒体曝光,这次金额达到245万元,且整个诈骗过程时间更短,只有9秒钟。
每经记者就此展开调查,并发现了一条围绕AI换脸的生意链:
有科技博主打着科普的名义,私下兜售换脸套餐,价格从399元至1.5万元不等,甚至可以定制人脸模型;
还有不少用户兜售用于训练人脸素材的src(源视频)素材包,或售卖已经训练好的人脸模型,有卖家告诉每经记者:“有现成的明星,每个价格800~1200元。”
细思极恐,正与你视频聊天的儿子、女儿,可能不是你所觉得的那个儿子、女儿。普通人有没有办法识别?每经记者采访到了在换脸圈子内知名度非同一般的一款实时换脸软件开发者,他透露了普通人鉴别对方是否换脸的诀窍。
眼见非实
AI诈骗频发,有博主兜售视频聊天换脸工具
去年5月,CCTV-12社会与法频道曝光一起AI换脸诈骗案件:2022年2月,陈先生到浙江温州市公安局瓯海分局仙岩派出所报案称,自己被“好友”诈骗了近5万元。经警方核实,诈骗分子利用陈先生好友“阿诚”在社交平台发布的视频,截取其面部视频画面后再利用“AI换脸”技术合成,制造出陈先生是与“好友”视频聊天的假象。对方借口国际漫游限制,联系不上国内航空公司的经理,请求陈先生代其向航空公司转账,从而导致陈先生上当。
2020年,上海某公司高管被诈骗150万元,就是因对方使用AI换脸与人工生成的语音技术冒充其公司领导,并要该高管转账,致使其无法分辨而被骗。
记者了解到,去年11月,大量博主反映接到境外视频通话请求,不少博主怀疑此类视频电话的目的是盗取人脸及声音信息。一名博主将报警过程发布在自己主页上,警察建议其不要接此类电话,并且拉黑对方、关闭视频电话功能,同时建议其关闭所有银行卡和付费软件的刷脸支付功能,遇到此类情况及时报警。
一名博主向每经记者讲述了诈骗分子冒充其远房亲戚,通过微信语音通话对其实施诈骗的过程:
“
今年4月份,远房亲戚突然通过微信向我借钱,正当我犹豫时,对方打来语音通话。49秒的语音通话中,声音没有任何异常。我说,我还以为是骗子。她说不是,她那边信号不好,她在出差。不料,10分钟后,真正的远房亲戚打来电话,称被盗号了。如果我当时不是刚好有事,直接就打钱给她了。
”
值得注意的是,在某社交平台上,不少科技类博主发布视频提示AI变脸诈骗风险。而这些视频,无一例外都在展示AI变脸的逼真效果。
每经记者以学习者身份接触了其中一位科技博主,加上微信后,对方比较谨慎地询问记者变脸的意图是什么。记者称是为了科普,该博主随即表示,变脸399元包教包会,直播中实时变脸,外加任意短视频,想换哪个人的脸就换哪个人的脸,并分享软件和教程。
与科技博主的聊天截图
“咱们这个可以微信视频聊天中换脸吗?”每经记者追问。
“可以。”对方答道。
“399元包括微信视频变脸吗?”
“对,都包括的。如果你不是说科普,微信视频聊天我都不会教的,我现在都不教外面的人了,像你这种说科普的我才教。”
随后,对方给记者发来支付宝收款码,“考虑好了,扫码立马给你安排。”
记者翻阅该博主的朋友圈,出现最多的内容是:“想学习的人一言不合上去就是转款!”“及时把握先机及时上车。”“欢迎大家学习直播变脸。”“想学习的人,关注的从来是我该怎么学,什么时候学,不想学习的人考虑的都是各种理由。”“都是有敏锐嗅觉的,知道钱在哪里,一上来就谈合作,立马转账加入拜师傅。”“互联网懂的都懂!”如此等等。
记者亲测
支持实时换脸,知名演员换脸素材被公开售卖
AI真的能实现实时换脸吗?会不会“一眼假”?记者决定亲测一下。
除了前述博主的“399元包教包会”换脸套餐之外,记者还发现了另外一款“包教包会包售后”换脸套餐,售价竟然高达1.5万元。但如果仅仅远程测试换脸效果,只需付99元即可。
记者花99元下了单后:
寸头、条纹衫、偏瘦……电脑屏幕里端坐着的,正是记者本人,但这位“记者”却是一张明星的面孔。本人试着眨了眨眼睛、左右转头,屏幕里的“明星”也跟着眨了眨眼睛、左右转头。当本人把手放在脸前晃一晃时,他也重复了同样的动作。不过并非天衣无缝,除了有明显的延迟之外,在手遮挡的地方,他的面部出现了轻微的扭曲,看上去有点怪异。
每经记者测试换脸视频截图
没错,以上正是卖家远程给记者测试的换脸效果。如卖家所说,测试结果显示,该AI换脸软件确实可以做到实时换脸(出于安全等考虑,本报道对该换脸软件采取匿名化处理,以下用“软件X”代指)。
面对屏幕里换脸后的自己,记者一时感到愕然,端详了半天,说不出哪里怪异。无疑,他是记者投射的镜像,就是记者本人。但是,经过了AI的处理,他又很难称得上是本人。这种错位感,想必每个初次尝试AI换脸的人都体验过,既有高科技带来的惊喜,又有细思后的极恐——万一有人换上了自己的脸怎么办?
恍惚之际,卖家接连发来消息:“你的脸型跟他不匹配,不过也有解决办法,需要制作的时候匹配。你的脸型更适合刘德华。”“还有一点,就是灯光一定要亮,你这个太暗了,会影响效果。”“要求电脑配备独立显卡,至少6G显存,越高越好。”“我们可以AI做脸,就是这张脸,谁都不是,变帅变漂亮都行。”“我目前做的效果,没有说不满意的,效果你放心就好了。”卖家一五一十地向记者介绍。
针对用手遮挡面部会发生扭曲的问题,卖家表示这可以解决,“只是没有录制你的一段用手遮挡的视频。”
不过,记者花的99元仅仅是测试费用,若想要永久拥有这款软件,则需支付全款。在卖家这里,软件X的全款售价是1万元,如需定制人脸模型,另付5000元。
咨询卖家的聊天记录截图
上万元的售价让人望而却步。不过,记者发现,软件X的代码实际上是开源的,在网上不难找到它的下载链接,甚至“从入门到精通”的教程也比比皆是。
经过一通操作之后,记者成功变脸成为某喜剧明星,出现在跟同事的视频通话场景中,电话另一边被换脸吓了一跳。
有意思的是,记者发现在变脸成为该喜剧明星之后,即使用手遮挡面部,也不会明显影响变脸效果,这与前面的测试结果不大一样。专业人士告诉记者,这可能和人脸模型的质量有关。
换脸软件早已有之,但能实现实时换脸的软件并不多,具备实时换脸功能的软件X,在换脸圈子内的知名度非同一般。记者找了两三家兜售实时换脸软件的卖家,当打开收到的网盘链接时,发现它们最终都指向了软件X。
另外,网上已有不少AI换脸圈子,换脸爱好者在圈子内互相分享换脸资源与换脸经验。
在记者打入的圈子里,这些换脸爱好者也有自己的交流方式,如训练人脸模型的过程被称为“炼丹”,而电脑的图形处理器(GPU)则被称为“炉子”。
根据一些公开的说法,训练高质量的人脸模型需要上千张不同的图像。至于训练时间的长短,除了跟人脸素材数量和质量有关,也由“炉子”等因素决定,如果没有GPU而仅用CPU训练,速度要慢得多。结合前述卖家的说法和论坛的经验帖,训练一个人脸模型可能需花费两天至一周时间。
也有不少用户兜售用于训练人脸素材的src(源视频)素材包,单个src素材包约含几千张人脸图像,有的甚至多达上万张,这些是训练人脸模型必需的原料。src素材包大多是知名演员、网红的人脸图像,大部分来自于相关影视剧的截图。
在某电商平台上搜索“src人脸”,可以发现这类包含知名演员的src素材已被公开售卖,价格从几元至几十元不等。经过进一步打探,记者发现他们也售卖已经训练好的人脸模型,虽然没有在店铺上架,但是可以私下转账购买。“有现成的知名明星,每个价格800元~1200元,男的很少,女的差不多十多个。”对方说。
与卖家的聊天截图
对抗伪造
普通人如何鉴别假脸?检测技术能否跟上?
据了解,AI换脸主要依赖于一种基于深度学习生成内容的深度合成技术。
深度合成技术,也常常被称为深度伪造技术,是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术。除了人脸替换,目前该技术还应用于表情操纵、语音合成、文章生成、智能对话等不同细分领域。
梁瑞刚等人2020年于《信息安全学报》发表的论文《视听觉深度伪造检测技术研究综述》中提到,以换脸技术为代表的视觉深度伪造生成技术的实现,总体可以分为数据收集、模型训练和伪造内容生成三个核心步骤。在模型训练阶段,目前深度伪造模型的构造主要基于GAN(生成对抗网络)实现,由编码器(encoder)和解码器(decoder)构成:编码器用于提取人脸图像的潜在特征,解码器则用于重构人脸图像。
视觉深度伪造内容生成流程示例 图片来源:论文《视听觉深度伪造检测技术研究综述》(作者:梁瑞刚等人)
实际上,软件X的开发团队2021年在arXiv平台上发表了相关论文,详述了上述软件X的功能特点及工作流程。
据该论文介绍,软件X的换脸流程依次分为三个阶段:提取、训练和转换。
其中,提取阶段旨在从源图像和目标图像中提取人脸,具体分为人脸检测、人脸对齐和人脸分割三个步骤。值得注意的是,在人脸分割步骤,软件X提供了一种自动算法,可以有效去除不规则遮挡,并补充开发了一种高效人脸分割工具,可以通过少量的镜头学习,以满足某些特定镜头中生成细粒度遮罩。这一解释,证实了前述卖家解决遮挡问题的可能性。
经过与网上流传的其他换脸软件进行不完全对比,记者发现,软件X在换脸效果上更加逼真,而且支持大多数换脸软件无法提供的实时换脸功能。
几经周折,每经记者联系上了特看科技的滚石(网名),资料证实,他正是软件X的开发者之一。
滚石坦言,他参与软件X开发的动机比较纯粹,“初衷就是好玩,以及提升主播的颜值。”
记者提到近期AI实时换脸工具被用于电信诈骗的新闻,他表示有所耳闻,也提出了自己的看法:“这是新技术发展的客观规律,所有新技术必定会被用于黑白灰各种途径。就像现在AIGC(人工智能自动生成内容)的发展,也是会被用于各种正面和负面场景。”
滚石表示,商业场景中的高质量换脸需要采集目标人物多角度多光影多表情下的人脸图像,但不追求高质量效果的话,几张图也能大致实现实时换脸。“在AI绘画等技术加持下,换脸对素材要求越来越低,甚至有一些算法可以做到一张图实时换脸。”
技术的发展降低了换脸的门槛,当这种“魔法”变得人人唾手可得时,普通人使用也能轻而易举地变成另一个人。这不禁让人担忧:我们日常发朋友圈是否会泄漏人脸信息?对此,滚石这样回答:“普通人没有办法规避,你总会有照片暴露在网上。”
针对自己参与开发的换脸软件,他向记者透露了普通人鉴别对方是否换脸的诀窍:“让对方把手大面积遮挡人脸,遮住面部中心80%以上的区域,缓慢移动手,看是否会出现画面异常。”
“跟美颜相机的美颜效果丢了一样,原理是遮挡面积大到一定程度,人脸检测会失效,导致换脸或者美颜等人脸算法就失效了。这招目前是比较有效的,但注意一定要超大面积遮挡,小面积遮挡影响不到人脸检测。”他如是解释。
值得一提的是,此前的流行说法称AI换脸无法眨眼,以及会出现面部不自然等现象。而在滚石看来,这些判断方法已经是过时且无效的。“我们开发的软件可以完美实现眨眼,小面积遮挡、说话、光影变化。”
他发来的测试视频也证明了这一点,视频中的一名中国人被换脸成外国人面孔,并能够自如地用手遮挡面部,甚至可以在脸上捏来捏去。“这是我们为跨境直播商家开发的工具,可以完美解决常规遮挡,实现多角度多表情多光影的复杂情况下换脸。”
除了滚石提到的通过用手大面积遮挡面部,换脸视频也可以通过技术手段鉴别。记者注意到,与AI换脸技术同步发展的伪造人脸检测技术,近年来取得了长足的进步。
图片来源:视觉中国-VCG111424718601
比如,去年上海交通大学电子信息与电气工程学院人工智能研究院教授杨小康团队的两篇关于伪造人脸鉴别的论文,被人工智能国际顶级会议CVPR 2022收录。据上海交通大学官网介绍,杨小康团队提出名为RECCE(中文释义:侦查)的鉴别方法,利用图像重建技术放大伪造痕迹,即使是方法未知的伪造人脸图像,也能十分容易地准确识别伪造区域。大量实验结果表明,所提出的新方法在多个大规模数据集上取得当前最好的对抗攻击效果,为伪造人脸检测算法提供了最强的对抗攻击样本作为测试。
不过,滚石认为,理论上随着换脸技术发展,是可以做到无法检测出来的。“因为这个换脸技术和鉴别技术是会互相学习进步的,最终状态就是换脸效果越来越真实,直至和真人一样。就像AI领域的GAN生成对抗技术一样,一个生成器和一个鉴别器互相对抗学习,直至生成器生成的图再也无法被鉴别器识别。”
记者注意到,在上述软件X论文的开头部分,开发团队表达了这样一种观点:“被攻击后的检测并不是减少深度伪造恶意影响的唯一方式。检测传播的欺骗内容总是为时已晚。从我们的角度来看,对于学术界和公众来说,帮助网民了解什么是深度伪造,以及如何生成电影质量的交换视频要好得多。俗话说‘进攻是最好的防守’,让普通网民意识到深度伪造的存在,加强他们对社交网络上发布的恶搞媒体的识别能力,比纠结于恶搞媒体是否真实更为关键。”
技术向善
AI换脸涉及哪些法律风险?怎样规制?
北京大成律师事务所高级合伙人肖飒在接受记者采访时表示,AI换脸技术涉及的法律风险可分为民事侵权与刑事犯罪两方面来看。
民事侵权方面,主要涉及侵犯肖像权和侵犯名誉权。刑事犯罪方面,一是利用AI换脸技术制作的视频内容可能具有违法性,二是AI换脸的使用手段可能具有违法性。
“在AI换脸视频内容被刑法所禁止的情形下,此时刑法的评价对象是利用AI技术创造出的虚假视频,该行为违法性的核心也来源于此。该类别下,除了可能涉及制作、复制、出版、贩卖、传播淫秽物品牟利罪或传播淫秽物品罪之外,还可能涉及侮辱罪,诽谤罪,编造、故意传播虚假信息罪等。另一种刑事犯罪情形是,AI换脸视频内容并不违法,但将其运用到违法的领域内,即AI换脸技术成为了一种新型犯罪手段。该类别下,除了可能涉及诈骗罪,还可能涉及的罪名包括敲诈勒索罪,非法侵入计算机信息系统罪,非法获取计算机信息系统数据、非法控制计算机信息系统罪,提供侵入、非法控制计算机信息系统程序、工具罪等。”肖飒告诉每经记者。
另外,肖飒提醒,在当前的大数据时代,隐私问题应当被公众更加关注和防范。“目前,在我们的生活中,很多公司打着‘安全和为用户需求考虑’的幌子,扩大了电子监控设备的适用范围。如各大应用商店中仍可以搜索到大量的换脸APP,各类产品中包含的人脸识别步骤使得用户在不知不觉中就泄露了自己的人脸信息。而部分软件在与用户订立‘隐私条款’时,使用了‘包括但不限于’对用户人脸信息的无限制使用。在大数据时代下,利用收集数据的便利性和广泛性,企业可以凭借一张简单的照片就关联出用户的其他信息,进而对用户信息进行买卖谋取非法利益,给用户带来了巨大的信息泄露风险。”
每经记者测试实时换脸中扭头
值得一提的是,记者注意到,在实际的换脸诈骗场景中,由于人脸模型的制作过程相对复杂,犯罪团伙自身或无力承担这一“技术活”。在换脸圈子里,就有人抛出这样的问题:别人用AI换脸去诈骗的话,帮这个人制作人脸模型的人会不会也有法律责任?
对此,肖飒认为,如果这个制作人脸模型的人知道该模型将用于诈骗,符合相关法律规定的“明知”情形,或将构成帮助信息网络犯罪活动罪,如果该制作人脸模型的人与诈骗者有事先共谋,则可能直接与诈骗人一起构成诈骗罪的共同犯罪。
此外,针对网上大量售卖的AI换脸软件及教程,肖飒表示,依照著作权法,换脸软件若能符合“计算机软件”或其他符合作品特征的智力成果,其开发者依法享有著作权。开发者作为著作权人有权许可、转让该权利。故而,只有著作权人或受著作权人许可的人可以售卖该换脸软件/换脸教程。
若不符合相关法律规定的“明知”情形,该开发者或被许可人无需担负任何法律责任。另外,软件开发者或被许可人即使声明“不得用于违法用途”,若私下帮助信息网络犯罪,仍需担负法律责任。
据记者了解,近年来,以AI换脸为代表的深度合成技术风靡国内外,为规范深度合成技术的应用,世界多国出台了相关规定。
去年12月,中国国家互联网信息办公室、工业和信息化部、公安部联合发布了《互联网信息服务深度合成管理规定》(以下简称《规定》),自2023年1月10日起施行。
《规定》第十四条提到,深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的,应当提示深度合成服务使用者依法告知被编辑的个人,并取得其单独同意。
第十七条规定,深度合成服务提供者提供以下深度合成服务,可能导致公众混淆或者误认的,应当在生成或者编辑的信息内容的合理位置、区域进行显著标识,向公众提示深度合成情况:
(一)智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务;
(二)合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务;
(三)人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务;
(四)沉浸式拟真场景等生成或者编辑服务;
(五)其他具有生成或者显著改变信息内容功能的服务。
肖飒告诉记者,美国有几个州已经通过立法禁止深度合成,但只针对传播有关政治选举或色情制品的深度合成。有关其他领域深度合成的法规并不包括在内,例如,用于社会工程的深度合成目前没有被禁止。“美国通过的立法也只适用于某些州,而不是全国范围的。”
肖飒表示,欧盟委员会提出了《人工智能法》(Artificial Intelligence Act),该法将深度合成纳入其范围,是对其进行监管的初步尝试。
记者手记丨如果掌握了魔法,你会用它来干什么?
“AI换脸真的这么神奇吗?”当AI换脸诈骗频上热搜的时候,我不禁这样问。彼时,我对AI换脸的印象还停留在当年“蚂蚁呀嘿”魔性视频爆火的阶段。直到看到自己的脸被换成一款栩栩如生的明星脸时,我才意识到,原来这门技术已经如此厉害了。然而,它可能被用于非法目的,让人细思极恐。
无疑,AI换脸技术是一把双刃剑,当掌握这种“魔法”的门槛越来越低时,我们不禁要问:“自己会拿它来干什么?”这让我想起小时候看的一部电视剧,叫《魔幻手机》,手持“傻妞”的人可以掌握超能力,有人用它来行侠仗义,有人则用它来满足贪欲。
那我们该禁止这种技术吗?现在没有谁敢轻易下结论,不过相关技术开发者在论文中提到的一句谚语,让我很有感触,这句谚语原文是:The best defense is a good offense。翻译成中文,意思大致就是:进攻是最好的防守。