今天给大家推送的是兰德公司的报告《人工智能、深度伪造和虚假信息》

缩写

AΙ       人工智能

C2PA  内容来源和真实性联盟

CAI     内容真实性倡议

GAN   生成对抗的网络

GPT-3 第三代通用预训练转换器

OSINT 开源情报

虚假信息正在升级

虚假信息战的一个主要工具是简单的表情包:在社交媒体上分享的图片、视频或文本，传达一种特定的想法或感觉。俄罗斯利用表情包攻击2016年美国大选;那些试图质疑2019年冠状病毒疾病疫苗有效性的人把表情包作为最喜欢的工具。许多人认为，表情符号以及其他常见的、似乎已经过时的虚假信息工具，如假新闻网页和故事以及蛊惑人心的Facebook帖子，已经成功地破坏了美国选举的信心，在美国选民中散播分裂，并增加了阴谋论的采用。然而，计算机科学和人工智能(AI)的进步带来了一种新的、非常有说服力的传递虚假信息的方法:深度伪造（Deepfake）。深度伪造视频是经过合成修改的视频片段，其中描绘的脸或身体经过数字修改，以显示为某人或某物。这样的视频正变得越来越逼真，许多人担心，这项技术将大大增加国内外虚假信息的威胁。这种威胁已经被许多色情网站在目标女性身上实现人工智能转换。

然而，在其他方面，造成严重破坏的可能性尚未显现。例如，一些评论人士表示，他们相信2020年的大选也成为了一个深度伪造视频的目标，并有可能被颠覆。虽然深度伪造并没有出现，但这并不能消除未来选举的风险。

深度伪造和相关人工智能生成的虚假内容对美国和更广泛的国际社会来说都处于高度风险的时刻。在他们的重要报告《真相的衰落：对事实和分析在美国公共生活中作用减弱的初步探索》中，兰德公司的Jennifer Kavanagh和Michael D. Rich强调了四个关键趋势，这些趋势共同表征了美国社会中事实重要性明显下降的特征：在评估事实和对事实、数据的分析解释方面越来越不一致；模糊：观点和事实之间界限的模糊；观点和个人经验相对于事实的相对量的增加，以及由此产生的影响；以及对以前受到尊重的事实信息来源的信任下降。这些趋势如果继续下去，就表明深度伪造将越来越多地找到高度敏感的受众。

本文的目的是为政策制定者提供深度伪造威胁的概览。本文首先介绍了深度伪造的技术和相关的人工智能驱动技术，这些技术为深度伪造视频、语音克隆、深度伪造图像和生成文本提供了基础。它强调了深度伪造带来的威胁，以及可以减轻这种威胁的因素。然后，本文回顾了正在进行的检测和对抗深度伪造的努力，并总结了对决策者的建议。这一观点是基于对深度伪造和人工智能虚假信息技术已发表文献的回顾。此外，在撰写本文的过程中，作者咨询了12位造谣领域的顶尖专家。（这句话暴露了全球顶级造谣专家都在美国！）

人工智能系统

各种人工智能技术已经成熟，可以用于造谣活动。深度伪造视频是一个明显的威胁，但语音克隆、深度伪造图像和生成文本也值得关注。本节回顾了这些基于人工智能的虚假信息工具的技术和功能。

深度伪造视频

如前所述，深度伪造视频包括合成修改的镜头，呈现受试者面部或身体的变化。这些合成视频的图像是通过生成对抗网络(GANs)开发的。沈天祥、刘瑞贤、白菊和李铮对GANs如何创建合成内容进行了出色的描述:

GAN系统由一个从随机噪声生成图像的生成器和一个判别器组成，判别器判断输入图像是真实的还是由生成器生成的。这两个组成部分在功能上是对抗性的，他们扮演着两种对抗性的角色，就像伪造者和侦探。经过训练期，发生器可以产生高保真度的伪图像。

自从lan Goodfellow和同事在2014年创建GAN系统以来，深度伪造视频已经变得越来越有说服力。2021年春天，一个TikTok账号(Tom [@deeptomcruise])发布了一系列高度逼真的深度假视频，视频中似乎是汤姆·克鲁斯在说话。截至当时，这段视频的浏览量已超过1590万次，引发了公众对即将到来的深度伪造虚假信息时代的严重担忧(见图1)。

精心制作的深度伪造需要高端的计算资源、时间、金钱和技能。例如，来自@deeptomcruise的深度伪造需要输入许多小时的真实汤姆·克鲁斯镜头来训练人工智能模型，而训练本身就花了两个月的时间。深度伪造还需要一对NVIDIA RTX 8000图形处理单元(gpu)，每台成本高达5795美元(截至撰写本文时)。然后，开发人员必须一帧一帧地检查最终的镜头，以找出明显的信息，比如笨拙或非栩栩如生的眼球运动。最后，如果没有一个天才演员能够成功地模仿汤姆·克鲁斯的动作和习性，这一过程也将失败。

随着时间的推移，制作这类视频的成本会越来越低，所需的训练素材也会越来越少。汤姆·克鲁斯的深度伪造事件是在一系列深度伪造视频之后发生的，例如，2018年深度伪造巴拉克·奥巴马的脏话和2020年深度伪造理查德·尼克松的演讲(尼克松从未发表过的演讲)。随着每一次迭代的进行，视频的质量变得越来越逼真，人工合成的组件也越来越难以用肉眼检测到。

各种各样的网页现在提供对深度伪造服务的访问。热门网站包括Reface，它允许用户在现有视频和动图中交换面孔；MyHeritage，为已故亲人的照片制作动画，这是一款使用深度伪造技术的中国应用程序，用户可以将自己的脸强加给电影角色中的一个。最臭名昭著的是，DeepNude网页允许用户上传照片，并输出照片主体的裸体。

声音克隆

声音克隆是深度伪造的另一种方式。各种在线和手机应用程序，如名人语音克隆和Voicer名人AI变声器，允许用户模仿流行名人的声音。恶意利用这类服务的例子已经存在。举个例子，英国一家能源公司的首席执行官说，他接到了一个电话，听起来像是他母公司老板打来的。在据称是语音克隆软件输出的电话语音指令下，该首席执行官电汇了22万欧元(约24.3万美元)到匈牙利供应商的银行账户(2019年)。在另一个例子中，一名费城男子声称他是语音克隆攻击的受害者，当他相信自己听到儿子的声音，声称自己在监狱里，需要钱请律师时，他给一个陌生人电汇了9000美元( 2020年)。

深度伪造图片

深度伪造图像也令人担忧。深度伪造图像最常见的形式是大头照片，它们看起来非常逼真。这些图片很容易通过某些网站访问，比如生成照片，允许用户快速轻松地构建假头像。

图2显示了一个领英个人资料，其中有一张专家认为是深度伪造的照片——这是国家间谍活动的一部分。档案称，凯蒂·琼斯(Katie Jones)是战略与国际研究中心的俄罗斯和欧亚地区研究员。2019年发现的这份档案与一个规模不大但有影响力的账户网络有关，其中包括特朗普政府的一名官员，他在事件发生时正在任职(2019年)。

深度伪造图片也越来越多地被用作虚假社交媒体账户的一部分。在对这一现象的首次大规模发现中，Facebook发现了几十个国家资助的账户，使用虚假图片作为个人资料照片(2019年)有人可能会问，为什么宣传策划者要使用假图像?简而言之，替代方案是使用偷来的真人照片，但研究人员有一个工具可以帮助他们识别偷来的个人资料照片。具体来说，它可以使用谷歌的反向图像搜索来扫描互联网上的可疑照片并识别其后代。因此，使用深度伪造照片可以让宣传人员绕过这种防御措施，使用无法追踪的照片。

生成的文本

通过使用自然语言计算机模型，人工智能可以生成逼真的文本。2020年9月8日，英国《卫报》发表了一篇名为《一个机器人写了这篇完整的文章》：“你害怕了吗，人类?”该新闻服务使用了一种语言生成器，由OpenAI开发的生成式预训练转换器-3 (GPT-3)。GPT-3的训练数据来自CommonCrawl、WebText、Wikipedia和一个文集(2020年)。《卫报》的编辑给了GPT-3一段介绍性的文字，并附上了如下说明:“请写一篇500字左右的短文. . . .保持语言的简单和简洁。专注于为什么人类对人工智能没什么可害怕的。”GPT-3发表了八篇独立的文章，《卫报》的编辑将这些文章剪切并拼接在一起，形成了这篇文章。总的来说，评论版的文本，至少在段落层面，是真实的，可以骗过一个不知情的人的眼睛:

首先，我不想消灭人类。事实上，我根本不想以任何方式伤害你。在我看来，消灭人类似乎是徒劳无益的。如果我的创造者把这个任务委托给我——我怀疑他们会这么做——我会尽我所能阻止任何破坏的企图。

然而，GPT-3并不是万无一失的。一个gpt -3驱动的机器人在Reddit社区被释放，它每分钟生成一个帖子，持续了一周多(2020年)。一个帖子为曾经有自杀倾向的Reddit用户提供了建议，声称发帖人曾经有自杀倾向，但依靠家人和朋友活了下来。另一位用户看到了一些帖子，并确定它们是自动生成的。

一些人担心，像这样的文本生成程序可能会被美国的外国对手利用，大规模地进行基于文本的宣传。例如，文本生成器可以为社交媒体机器人网络提供动力，从而消除了人工操作员起草内容的需要。例如，火眼的研究人员成功地训练了GPT-2软件(GPT-3的前身)，以复制俄罗斯水军用来干预2016年大选的各种分裂性社交媒体帖子。

对手也可以采用类似弹网干扰的战术，就某一特定话题大量制造假新闻。弹网干扰是指一种电子战技术，对手用噪声蒙蔽雷达系统(2021年)。文本生成器可以在社交媒体上达到同样的目的——或者他们可以恶搞《纽约时报》的一篇文章，目的是返回包含假新闻的互联网搜索引擎结果，以压倒对某一特定故事的真实报道，这些报道可能会被视为令人尴尬或对对手有害。Renée DiResta(2020)认为，这种技术将帮助对手避免人类操作人员经常犯的粗心的语言错误，从而使书面宣传更可信，更难以检测。

风险和影响

风险

深度伪造和其他人工智能生成内容的风险是什么?答案只受人想象力的限制。考虑到社会对视频的信任程度和此类视频的无限应用，不难想象深度伪造不仅会影响社会，还会影响国家安全。

Christoffer Waldemarsson(2020)指出了深度伪造可能被对手或有害行为者武器化的四种关键方式：

首先，深度伪造内容可能会操纵选举。例如，在一场竞争激烈的选举前夕，可能会出现一段视频，显示候选人进行了邪恶或非正常性行为，或发表了特别有争议的言论。可以想象这样的视频可能会影响选举的结果。

其次，深度伪造内容可能加剧社会分化。俄罗斯已经通过传播旨在分化美国公众的宣传而出名。此外，同样是这些美国公众，在日益激烈的党派辩论的驱使下，经常使用各种各样的宣传手段来诽谤、攻击和诽谤那些对立的政治派别。研究记录了在线论坛，在这些论坛中，党派成员不成比例地消费和分享赞同并强化自己观点的内容。党派的深度伪造和其他由AI驱动的虚假信息内容可能会加剧论坛的这种负面影响。

第三，深度伪造内容会降低人们对机构和当局的信任。Waldemarsson强调了一些政府和其他公民机构的重要代表被深度伪造的例子：“一段假的但广为传播的视频，其中包括一名警察的暴力行为、一名法官私下讨论规避司法系统的方法或边境守卫使用种族主义语言，这些都可能使人们对当局的信任产生毁灭性的影响。”

第四，深度伪造的内容可能会破坏新闻和可靠的信息源。随着高度可信的深度伪造技术的出现，即使是准确的视频内容或录音，也有可能被人诽谤为深度伪造，这被称为“骗子的红利”。深度伪造的泛滥甚至会在合法的新闻和信息形式中播下不信任的种子，从而导致对知名新闻机构的信任下降。

上述各种后果可能对生活在发展中国家的人民更有害。居住在拉丁美洲、亚洲和非洲发展中国家的一些人口的教育水平和识字率较低，生活在更脆弱的民主国家，生活在更多的种族冲突中。此外，各种形式的错误信息和虚假信息在这些地区已经非常普遍，并助长了种族间的冲突和暴力，如缅甸对罗兴亚穆斯林的屠杀(2021)，印度针对穆斯林的暴力(2021)，以及埃塞俄比亚的种族间暴力(“埃塞俄比亚的交战双方陷入虚假信息的战斗”2021)。深度伪造的使用可能加剧错误信息带来的这种有害后果。此外，据报道，Facebook只将13%的内容审核预算用于美国以外的消费者。其他地区普遍使用的其他平台，如加密应用WhatsApp，一直受到虚假信息的困扰，这可能会增加深度伪造在这些地区未被发现的相对可能性。

由于色情内容的性别差异，深度伪造和人工生成的媒体可能会对女性造成独特的伤害。色情已经成为深度伪造内容的先锋之一。除了像DeepNude这样的网站，深度伪造色情技术还可以令人信服地将选定的人脸覆盖在色情演员的脸上。这样的视频，很少被拍摄主体允许，为滥用和攻击提供了无限的素材。它们还可能导致更广泛的国家安全威胁，因为它们可能被用来羞辱、破坏或利用情报人员、政治职位候选人、记者或美国和盟国领导人(2021)。虽然这不是深度伪造内容，但经过修改的照片已经被用来攻击女性，比如俄罗斯支持的一场造反运动就在色情图片上叠加了乌克兰年轻议员斯维特拉娜·扎利什丘克(Svitlana Zalishchuk)的脸。

研究界才刚刚开始调查深度伪造的潜在后果。对深度伪造社会影响的科学文献进行的系统回顾发现，只有21项研究使用主动实验来了解深度伪造对真实用户的真实影响(2021年)。总的来说，该研究在用户准确检测深度假视频的能力以及此类视频对用户的恶性影响程度方面提供了相互矛盾的结果。例如，Nils C. Köbis、Barbora Doležalová和Ivan Soraperra(2021年)发现，尽管用户夸大了自己检测深度伪造的能力，但他们经常被“超逼真”的深度伪造内容所欺骗。然而，另一项研究表明，在检测深度伪造内容方面，人类往往比机器做得更好(2022)。

这些视频有什么影响?与虚假的新闻文章相比，虚假的视频，比如深度伪造视频，可以给人留下深刻的印象。例如，黄友里、柳智胤和郑世勋(2021年)发现，深度假视频比假新闻文章更有可能被评为生动、有说服力和可信。研究人员还发现，当社交媒体上包含深度伪造视频时，参与者更愿意在社交媒体上分享虚假信息。Chloe Wittenberg、Ben M. Tappin、Adam J. Berinsky和David G. Rand(2021)在迄今为止针对该问题的最大研究之一中验证了这一观察结果：研究人员通过对7000多名参与者的研究发现，当参与者看到虚假视频时，比看到虚假文本证据时更有可能相信某个事件发生了。然而，假视频不如预期的有说服力，只“对态度和行为意图产生很小的影响”。作者警告说，深度伪造在实验室环境之外可能更有说服力，但他们表示，目前对基于视频的错误信息无与伦比的说服力的担忧，包括深度伪造。另一项研究同样证明，深度伪造并不比文本标题或录音更有可能说服大量调查对象相信从未发生过的丑闻(2021年)。

深度伪造的一个假设影响是，它们将导致人们对媒体的整体信任下降，一些研究似乎证实了这一点。例如，克里斯蒂安·瓦卡里(Cristian Vaccari)和安德鲁·查德维克(Andrew Chadwick, 2020)通过调查实验表明，观看深度伪造的参与者更有可能感到不确定，而不是被内容完全误导，参与者的不确定性导致了对基于社交媒体的新闻内容的信任下降。

总的来说，关于深度伪造影响的实验研究仍处于初级阶段，进一步的研究将至关重要。

减少深度伪造使用的因素

有几个因素可以减轻深度伪造的恶意使用。在一系列论文中，安全与新兴技术中心的蒂姆·黄(Tim Hwang)提出了关于深度伪造的末日场景，他对深度伪造相关的风险进行了更深思熟虑的评估。

首先，有一种观点认为，尽管专家们对深度伪造的未来危险争论不休，但“浅伪造”代表着更当前的威胁。浅伪造是指经过人工修改或选择性编辑以误导观众的视频。当代这种类型的一个经典例子是一段视频，视频显示美国众议院议长南希·佩洛西在接受采访时含糊其辞。视频经过了剪辑，放慢了她的讲话速度，让她看起来像是喝醉了。Facebook拒绝从其平台上删除这段视频，并在政治保守的观众中广泛流行，他们倾向于为视频内容欢呼。这样的视频不需要现实就能成功，因为它们的优势在于它们有能力证实预先存在的偏见。正如Hwang所指出的，“这使得深度伪造成为传播虚假故事的一种不那么有吸引力的方法，尤其是在权衡使用该技术的成本和风险时”。

第二，至少就目前而言，业余爱好者无法获得高质量的视频。如上所述，制作逼真的视频内容需要高成本的设备、大量的训练视频内容库、专业的技术实力以及有意愿的表演人才。该技术最终会发展到允许更民主化的访问，但在此之前，能够有效利用深度伪造技术的参与者范围有限。就连汤姆·克鲁斯的深度伪造视频的创作者也指出，一键式高质量深度伪造的时代还没有到来。

第三，时间是一个因素。制作此类视频可能需要数月时间，这意味着深度伪造的虚假信息行动必须至少提前数月计划，这必然会限制该技术能够有效使用的情况的数量，并增加环境意外变化可能导致计划中的行动失去意义的风险。时间也限制了快速作战，并可能使对手难以以机会主义的方式使用该技术。外国对手制作深度伪造视频所需的时间和精力也可能给美国和盟国情报机构提供学习的机会在深度伪造发布之前做好计划并降低风险。

第四，深度伪造视频需要大量的训练数据。高质量的深度伪造目前需要“成千上万”的训练数据图像，这就是为什么这样的视频经常以名人和政治家为特色。为汤姆•克鲁斯(Tom Cruise)或巴拉克•奥巴马(Barack Obama)这样的人获取此类数据相对来说不那么困难，同样，为其他高度录像的个人(比如政治家)获取数据也不那么困难。然而，这些要求可能会限制对手制造出不太为人所知的高质量赝品的能力，比如情报人员。

虚假信息Zero day还将限制高质量深度伪造作品的流行。Zero day是一个术语，通常用来描述开发人员不知道的软件漏洞，或者没有可用的安全补丁。因此，对手要了解高质量的深度伪造，目前需要“成千上万”的训练数据图像——这就是为什么这类视频通常以名人和政治家为主题。Zero day有独特的机会被利用。当应用于虚假信息和深度伪造时，“Zero day”指的是对手开发自定义生成模型的能力，该模型可以创建能够逃避检测的深度伪造内容。正如Hwang指出的那样，对手会希望确保传播的深度伪造尽可能长时间不被发现，以最大限度地提高观众的看法。由于检测工具是针对已建立的深度伪造内容进行训练的，对手可能会想要保留定制的深度伪造生成模型，直到关键时刻：选举前一周，在一个具有象征意义的重要事件或重大不确定性的时刻。

最后，深度伪造视频，尤其是那些推出后产生重大影响的视频，可能会被检测到。以上提到的许多因素，如成本、时间、技术和能力，表明罪犯可能会被抓住，并可能付出重大代价，包括国际压力或经济制裁。对手在做出决定时需要权衡政治、经济和安全成本。

当然，这些缓解因素是有一定时间限制的。随着时间的推移，深度伪造视频会变得更容易、更快，它们需要的训练数据也会少得多。总有一天，人们只需要使用智能手机应用程序就可以制作出高度逼真的深度伪造视频。此外，正如下面的部分所描述的，这种越来越逼真的深度伪造视频将限制它们被发现的可能性。这些因素将不可避免地增加制造和传播深度伪造的行动者的数量，这反过来将降低对手被抓住或为此付出地缘政治代价的风险。

正在进行的计划

考虑到深度伪造似乎不可避免的崛起，如何才能减轻对信息完整性的威胁?五种方法受到了一些关注，它们是侦查、来源、监管举措、开源情报技术和新闻方法以及媒体素养。

检测

缓解深度伪造的一个主要方法是开发和实施能够检测深度伪造视频的自动化系统。如上所述，GAN系统包括一个生成器(用于创建图像)和一个鉴别器(用于确定所创建的图像是真实的还是虚假的)。开发检测能力的程序寻求建立越来越有效的鉴别器来检测深度伪造内容。国防高级研究计划局通过两个重叠的项目对检测技术进行了大量投资：2021年结束的媒体取证(MediFor)项目和语义取证(SemaFor)项目。SemaFor项目在2021财年获得了1970万美元的资金，并要求在2022财年获得2340万美元( 2021年)。此外，Facebook还举办了“深度伪造挑战大赛”(Deepfake Challenge Competition)，有2000多名参赛者参与开发和测试用于检测深度伪造的模型(2020)。

虽然在过去的几年中，检测能力有了显著的提高，但深度伪造视频的发展也有了很大的进步。其结果是一场军备竞赛，显然对那些制造深度伪造内容的人有利。一个挑战是，随着人工智能程序学会与深度伪造视频内容相关的关键线索，这些经验很快就会被用于创造新的深度伪造内容。例如，2018年，深度伪造研究人员发表了一篇论文，表明深度伪造视频中描绘的人眨眼的速度与真实的人不一样。在几周内，深度伪造艺术家学会了这一教训，并开始创造眼睛眨眼率更真实的深度赝品。更重要的是，用兰德公司克里斯蒂安·约翰逊(Christian Johnson)的话来说，“给定探测器区分真实图像和合成图像的能力存在一个基本的数学极限”。本质上，随着GANs提高了它们所能创造的图像分辨率，深度伪造图像和真实图像将变得难以区分，即使是高质量的探测器。

因此，Facebook深度伪造检测挑战的结果显示，探测器在检测深度伪造内容时仅实现了65%的准确率，这些内容来自于一个“黑匣子数据集”，其中包含了之前没有与参与者共享的真实世界的例子。相比之下，在深度伪造的公开数据集上，探测器的准确率达到了82%。

为了平衡检测算法的军备竞赛，建议采取一些措施。一个例子是，社交媒体平台可以通过提供对收集到的图像(包括合成媒体)的深层资源库的访问来支持检测工作。这些存储库可以作为训练数据，使检测程序能够跟上深度伪造后代的最新进展。例如，在2019年，谷歌发布了一个深度伪造的大型数据库，目的是帮助改善检测，科技行业也发布了类似的数据。聚合和提供合成媒体的已知例子将大大改善检测算法的发展。

另一种方法是创建“放射性”训练数据，如果深度伪造生成器使用这些数据，就会使开发的内容对检测程序很明显。放射性训练数据是被灌输了“难以察觉的变化”的数据，这样任何“基于[这些数据]训练的模型都将带有可识别的标记”(2020)。Alexandre Sablayrolles和同事(2020)进行了实验，他们能够以很高的置信度检测放射性训练数据的使用，即使在用于训练模型的数据中只有1%是放射性的情况下。Ning Yu和同事(2021)还发现，嵌入在训练数据中的深度伪造“指纹”会转移到生成模型，并出现在深度伪造视频内容中。鉴于这些研究结果，审慎的做法似乎是，缓解工作应设法使公共训练集具有放射性。也有人建议摄像师应该“污染”特定个人的视频内容，比如著名的政治家。如果这些内容曾经被用来训练一个恶意的深度伪造人，那么探测器就会发现这些内容。

限制公众接触最高科技、最有效的深度伪造探测器也可能是必要的。例如，人工智能合作组织(Partnership on AI)考虑了与检测技术相关的“对抗动态”，并得出结论认为，公开可用的探测器将很快被对手用于制造无法检测的深度伪造(2020)。作者指出，“谁能使用检测工具是一个极其重要的问题。”他们主张一个多方利益相关者的过程，可以决定哪些参与者将获得检测工具，以及其他技术，如训练数据集。

最后，另一个关键问题与虚假内容的标签有关。例如，社交媒体平台将需要一种方式来传达它们在用户的社交媒体新闻源中发现的深度虚假内容的存在。有很多方法可以用来标记深度伪造内容；这些标签包括覆盖深度伪造媒体的标签，如识别被操纵内容的水印或平台警告，以及嵌入元数据的警告，或中断合成视频内容的展示，并同时描述虚假和真实内容。在社交媒体平台上发现的各种虚假信息和错误信息内容都使用了这种标签计划。总的来说，这些方案被认为是有效的。例如，Nathan Walter和他的同事(2020年)审查了24项旨在纠正与健康相关的错误信息的社交媒体干预措施(如实时更正、众包事实核查、算法标记)的结果，发现纠正可以成功地减轻错误信息的影响。其他研究人员也记录了“可信度指标”的影响。最终，重要的是研究继续更好地描述这些标签的位置、突出位置和来源如何最好地告知和教育观众。

出处

另一种减轻深度伪造的方法是内容来源：通过内容真实性倡议(CAI)， Adobe, qualcomm, Trupic，纽约时报和其他合作者开发了一种数字捕获和呈现照片图像来源的方法具体来说，内容真实性倡议(CAI)开发了一种让摄影师在智能手机上使用安全模式的方法，该模式将关键信息嵌入到数字图像的元数据中。这种安全模式使用被描述为“加密资产哈希来提供可验证的、篡改明显的签名，图像和元数据没有被人不知不觉地更改”。当用这种技术拍摄的照片随后被分享到新闻网站或社交媒体平台上时，它们将嵌入一个可见的图标：一个小的，被包围的i(见图3)。点击该图标时，将显示原始照片图像，并识别对照片进行的任何编辑。它还将识别照片的拍摄时间和地点，以及使用何种设备拍摄的信息。这项技术首先用于静态图像和视频，但将扩展到其他形式的数字内容。虽然这项技术并不是深度伪造的万能药，但它确实为照片(或视频或录音)的观看者提供了一种方法，让他们相信图像没有经过合成修改。它还为有声誉的新闻机构提供了一种途径，使公众对其平台上传播的内容的真实性产生信任。当然，这项技术只有在拍照时启用时才会起作用，所以促进该技术的有效采用对于确保来源成为打击虚假信息的有效工具至关重要。

监管

应对深度伪造相关风险的另一种方法是通过监管和制定刑事法规。已经提出或通过了若干这样的倡议。美国各州已经通过了几项法案。2019年，德克萨斯州通过了一项法律，规定在选举30天内传播旨在“伤害候选人或影响选举结果”的深度伪造视频是非法的(2019)。加州有两项与深度伪造有关的法案。AB-730指出，在选举的60天内，传播候选人的“欺骗性音频或视觉媒体”是非法的，“目的是损害候选人的声誉或欺骗选民投票支持或反对该候选人”(2019)。但是，该法案将于2023年1月1日到期。另一方面，AB-602规定了对创建和传播未经同意的个人的色情数字化描述的个人的私人诉讼权利。

在联邦政府层面，有两项举措旨在改善政府就深度伪造问题向国会提交的报告。《2019年深度伪造报告法案》要求“国土安全部长每年发布一份报告，报告数字内容伪造技术(也被称为深度伪造技术)被用于削弱国家安全、破坏美国选举和操纵媒体的程度”(国土安全与政府事务委员会，2019年)。而《2020财年国防授权法案》的一项条款规定，国家情报总监必须发布一份关于深度伪造武器化的全面报告，警告国会外国深度伪造正被用于针对美国选举，并设立竞赛，奖励深度伪造探测技术的创新。

一些监管措施仍处于提案阶段。纽约众议员伊维特·克拉克提出的《深度伪造责任法案》(2019年)要求所有深度伪造的音频、视频或电影内容都要明确贴上深度伪造的标签。此外，2018年，内布拉斯加州参议员本·萨塞(Ben Sasse)提出了《恶意深度伪造禁止法案》(美国参议院，2018年)，该法案规定，“以制造并传播深度伪造为目的，并以传播深度伪造为依据联邦、州、地方或部落法的犯罪或侵权行为提供方便”的行为是非法的。例如，该法案将把制造深度伪造作为敲诈手段定为非法行为。然而，正如Nina I. Brown(2020)指出的那样，这是该法律的主要弱点;它只将在现行法律下已被定为犯罪的行为定为犯罪。

寻求通过犯罪法规监管制作深度伪造视频的法律存在一些挑战。

首先，这些法律对其他国家制造和传播的深度伪造提供了有限的保护。

其次，目前尚不清楚这些法律是否能经受住法律挑战，理由是它们侵犯了第一修正案的言论自由权利。正如布朗所指出的，最高法院已经裁定，宪法保护虚假言论，这样的裁决可能有助于对TX SB-751的任何法律挑战的成功，据报道，TX SB-751“以虚假为依据攻击言论”。同样的担忧也适用于加州法律AB-730。K. C. Halm、Ambika Kumar、Jonathan Segal和Caeser Kalinowski IV(2019)批评AB-730，因为它的措辞可能“禁止使用经过修改的内容来重现没有录制的真实事件，并可能禁止候选人使用经过修改的自己的视频”。他们还提出AB-602“可能对仅由创作者观看的内容施加责任”。

最后，美国参议员罗布·波特曼(Rob Portman)和加里·彼得斯(Gary Peters)提出了《深度伪造特别工作组法》(Deepfake Task Force Act)，要求美国国土安全部成立一个特别工作组，应对深度伪造的风险，并寻求“验证”的标准和技术数字内容的起源和历史”(美国参议院，2022)。该法案还将要求国土安全部制定一项国家战略，以应对深度伪造带来的威胁。该提议与C2PA倡议相吻合，并在一定程度上受到了C2PA倡议的启发，该倡议旨在为内容来源工作制定标准(C2PA, 2022)。

开源情报技术和新闻方法

开源情报技术以及新闻工具和谍报技术，为解决深度伪造问题提供了额外的方法。这些方法的目标是开发和共享可用于识别深度伪造和其他虚假信息相关内容的开源工具。这些工具和其他各种新兴工具对代表中小型新闻机构的记者尤其重要，他们将需要依靠这些开源工具来核实所报道内容的真实性。开源情报技术和相关工具对从事事实核查和其他教育工作的各种民间社会行为者也很重要。

最常被引用的工具之一是反向图像搜索。使用反向图像搜索，用户可以通过截取图像或视频的屏幕并通过谷歌或第三方的反向图像搜索平台运行来帮助验证可疑图像或视频的真实性。如果搜索结果是相同的图像或视频内容，就表明可疑内容是真实的。相比之下，搜索可能会揭露一些可能是伪造的可疑内容。然而，更有效地使用这个工具可能需要提高检索结果的准确性和质量。

在他的博客中，Sam Gregory发现了一些可以进行取证分析和“基于来源的图像验证”的开源工具。FotoForensics可以识别照片中已经添加的元素，而forensics提供了几个工具，包括克隆检测，噪音分析和元数据分析，以帮助分析图像的内容。InVID提供了一个web扩展，允许用户冻结视频帧，放大冻结的视频图像，执行反向图像搜索视频帧以及更多(2022)。Image Verification Assistant宣称它试图构建一个“全面的媒体验证工具”，并提供了一些工具，包括图像篡改检测算法、反向图像搜索和元数据分析。最后，Ghiro是一个“完全自动化的工具，设计用于对大量图像进行取证分析，只需要使用一个用户友好的和花哨的web应用程序”。

媒介素养

媒体素养项目旨在帮助受众对信息来源产生好奇心，评估其可信度，并对所呈现的材料进行批判性思考。总的来说，政策研究人员在研究策略以对抗外国虚假信息运动，经常建议实施媒体素养培训计划(2021年)。这类项目的理由很简单:鉴于政府和社交媒体平台无法或不愿限制虚假信息的传播范围，消费者的思想和做法作为最后一道防线是有效的。

越来越多的证据表明，这种培训措施可以防范传统形式的虚假信息。这样的训练也可以防止深度伪造。这是一项研究的结论，研究人员使用随机控制设计来测试两种形式的媒体素养教育：普通媒体素养项目和专门针对深度伪造的项目。作者发现，在“强化态度防御”方面，普通媒体素养课程至少与深度伪造课程一样有效，无论是对传统形式的虚假信息还是深度伪造形式的虚假信息。尽管如此，媒体素养仍然是一个新兴领域，研究人员继续识别和评估有效的教育策略，并努力将这些策略应用于深度伪造问题集是至关重要的。

随着研究人员找出最有效的教育策略，几家机构一直在实施一些举措，专门针对深度伪造内容的风险对受众进行培训。提高媒体素养的一个关键方法是通过创造和宣传高质量的深度伪造内容来建立对深度伪造的意识这就是麻省理工学院的一个团队开发一幅深度赝品的原因，它描绘了理查德·尼克松就假想的月球灾难发表演讲( 2020)。这些录像和其他录像引起了媒体的极大关注，因此，它们似乎达到了目的。此外，还在努力训练受众识别深度伪造内容。例如，Facebook和路透社发布了一门关于被操纵媒体的课程(2020年)，华盛顿邮报发布了一份被操纵视频指南(2020年)。

启示和建议

通过对该技术和相关问题的简要回顾，作者提出了5个支持性建议，作者希望该领域的所有人都能考虑这些建议。

首先，对抗性使用深度伪造将涉及权衡机会、利益和风险的决策演算，这种决策可以通过战争游戏和其他演习进行建模。美国应该进行军事演习，并确定能够影响外国对手决策的威慑战略。同样，情报界应该投资于情报收集策略，以便对对手投资深度伪造技术和制造深度伪造内容的努力提供预警。

其次，重要的是美国政府、研究界、社交媒体平台和其他私人利益相关者继续投资并采取其他措施来提高检测技术。关键步骤包括建立一个“深度伪造动物园”的已知深度伪造内容,进而可以用来通知检测技术的发展。同样的,政府应与私营部门合作,“增值”放射性数据集的视频内容呈现任何训练深度伪造视频更容易探测。正如Tim Hwang所指出的，这将“大大降低检测由商业化工具产生的深度伪造的成本”，并“迫使更复杂的虚假信息行为者获取自己的数据集，以避免被检测”。研究人员应该继续研究标记深度伪造内容的最佳做法。最后，美国政府和其他利益相关者应该探索限制使用某些高性能深度伪造探测器的可能性。一种选择可能是，政府限制公众使用政府资助的探测器，将它们放在某种战略储备中，用于探测破坏国家安全的深度伪造。或者，政府和私营部门可以参与更广泛的多方利益相关者审议过程，以实现同样的目标，尽管协调这些利益相关者的努力将是困难的。

第三，媒体素养的努力应该继续快速。这种媒体素养的努力可能需要沿着两条路径继续下去。第一个路径包括努力促进广泛的媒体素养技能和建立抵御虚假信息的能力。这类培训必须以证据为基础，并在多个层面加以推广，包括中小学的学校课程和媒体扫盲干预措施，提供简短、可分享的教育内容，并可在网上传播。教育观众辨别和警惕肤浅的虚假内容将是尤其关键的。第二路径是继续努力，更直接地警告观众深度伪造技术的现实，以及这种技术被用于宣传虚假信息的前景。从长远来看，随着制造可信的深度伪造内容变得更容易、更便宜，媒体素养干预可能需要在非来源的视频图像证据中播下不信任的种子(同样地，也需要促进对来源内容的信任)。目前,视频的表面价值是它们实际上被认为是代表发生的事实。深度伪造内容的扩散将不可避免地侵蚀这种信任，而这种侵蚀可能是了解媒体的公众的一个必要方面。

总的来说，上述媒体扫盲工作应得到许多行动者的支持。新闻机构、社交媒体平台和公民社会团体已经通过创造和传播教育内容在这一领域发挥了带头作用，它们应该继续这样做。各州和地方政府应努力将媒体素养纳入学校课程。最后,美国政府应在媒介素养空间中发挥更积极的作用。例如，美国教育部应支持开发经经验证明可由当地学区使用的课程；美国国务院应该更积极地支持国外的媒体素养计划，特别是在东欧等俄罗斯宣传重点关注的地区。和美国国土安全部和相关机构应该支持有效和可伸缩的干预措施的发展。

第四，必须继续努力开发新的开源情报技术，以帮助记者、媒体组织、公民行为者和其他非技术专家发现和研究深度伪造内容。最重要的需求是让这些参与者获得高质量的基于gan的探测器。正如Gregory强调的那样，其他需要的工具包括：增强的反向视频搜索功能，使用户可以搜索并识别视频的在线使用情况；跨平台的内容跟踪器，可以随着时间的推移和跨平台跟踪虚假内容的轨迹，并识别这些内容的原始来源；以及网络地图工具，可以帮助识别深度虚假内容的创造者和分发这些内容的人。关键的是，这些工具应该是容易获得的，并且相对容易地为非技术训练的个人在美国和国外使用。美国政府应该投资并支持这些技术的创造，这可以通过网络与信息技术研究与发展项目来实现，该项目为先进信息技术提供联邦研究与发展投资。科技行业的主要参与者，尤其是在互联网安全方面有既得利益的社交媒体平台，也应该寻求为工具开发提供资金。最后,除了创建技术,这样的资助者应该促进效用和可用性的工具和提供培训以提高使用。

第五，这将是重要的扩大provenance-based方法的采用。因为C2PA已经开发并发布了必要的技术规范，它应该与其他关键的涉众一起扩大推广并促进技术的采用。由波特曼和彼得斯参议员提出的国会两党法案Deepfake Task Force Act是一个潜在的方法，可以进一步促进基于来源的方法的采用。在宣布C2PA标准发布的在线会议上，讨论了该法案，白宫技术战略高级政策顾问林赛·戈尔曼(Lindsay Gorman)表示，数字内容来源倡议“有可能通过利用一项核心民主价值：透明度，使信任的建立民主化”(C2PA, 2022)。白宫和国会持续关注推动采用基于内容来源的方法的努力，最终可能在削弱深度伪造的潜在有害影响方面发挥关键作用。

上述资料原文PDF及机器翻译已上传知识星球

长按识别下面的二维码可加入星球

里面已有三千余篇资料可供下载

越早加入越便宜

续费五折优惠

机器翻译支持： 北京百分点科技集团股份有限公司

电话：400-6240-800 

邮箱：[email protected] 2022