华为AI安全白皮书.pdf

1、AI安全白皮书执行摘要近年来，随着海量数据的积累、计算能力的发展、机器学习方法与系统的持续创新与演进，诸如图像识别、语音识别、自然语言翻译等人工智能技术得到普遍部署和广泛应用，人工智能正朝着历史性时刻迈进。与此同时，AI对于传统计算机安全领域的研究也产生了重大影响，除了利用AI来构建各种恶意检测、攻击识别系统外，黑客也可能利用AI达到更精准的攻击。除此之外，在关键的AI应用场景上，AI自身的安全性变得前所未有的重要，极需要构建一个不会被外界干扰而影响判断的健壮AI系统。可以说AI帮助了安全，安全也能帮助AI。本白皮书主要目的是探讨AI自身的安全，确保AI模型和数据的完整性与保密性，使其在不同的

2、业务场景下，不会轻易地被攻击者影响而改变判断结果或泄露数据。不同于传统的系统安全漏洞，机器学习系统存在安全漏洞的根因是其工作原理极为复杂，缺乏可解释性。各种AI系统安全问题（恶意机器学习）随之产生，闪避攻击、药饵攻击以及各种后门漏洞攻击层出不穷。这些攻击不但精准，而且对不同的机器学习模型有很强的可传递性，使得基于深度神经网络（DNN）的一系列AI应用面临较大的安全威胁。例如，攻击者在训练阶段掺入恶意数据，影响AI模型推理能力；同样也可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果；攻击者还可能在模型中植入后门并实施高级攻击；也能通过多次查询窃取模型和数据信息。华为致力于AI安全的研究

3、，旨在提供一个令用户放心的AI应用安全环境，为华为AI使能构建智能世界的新时代愿景与使命做出贡献。为了应对AI安全的新挑战，本白皮书提出了将AI系统部署到业务场景中所需要的三个层次的防御手段：攻防安全，对已知攻击设计有针对性的防御机制；模型安全，通过模型验证等手段提升模型健壮性；架构安全，在部署AI的业务中设计不同的安全机制保证业务安全。未来，华为的AI安全任重而道远。在技术上，需要持续研究AI可解释性，增强对机器学习工作机理的理解，并构建机制性防御措施搭建AI安全平台；在业务上，需要详细剖析AI在产品线的应用案例，落地经过测试和验证的AI安全关键技术。以“万物感知、万物互联、万物智能”为特征

4、的智能社会即将到来，华为愿与全球的客户和伙伴们共同努力携手并进，共同面对AI安全挑战。AI安全白皮书执行摘要目录AI安全白皮书目录1.迈向智能社会 022.AI安全面临五大挑战 033.AI安全典型攻击方式 043.1 闪避攻击 043.2 药饵攻击 053.3 后门攻击 053.4 模型窃取攻击 054.AI安全防御手段 064.1 AI安全攻防 074.2 AI模型安全 094.3 AI业务的安全架构 105.携手共建安全的智慧未来 12参考文献 130101迈向智能社会近年来，随着海量数据的积累、计算能力的发展、机器学习方法与系统的持续创新与演进，诸如图像识别、语音识别、自然语言翻译等人

5、工智能技术得到普遍部署和广泛应用。越来越多公司都将增大在AI的投入，将其作为业务发展的重心。华为全球产业愿景预测：到2025年，全球将实现1000亿联接，覆盖77%的人口；85%的企业应用将部署到云上；智能家庭机器人将进入12%的家庭，形成千亿美元的市场。人工智能技术的发展和广泛的商业应用充分预示着一个万物智能的社会正在快速到来。1956年，麦卡锡、明斯基、香农等人提出“人工智能”概念。60年后的今天，伴随着谷歌DeepMind开发的围棋程序AlphaGo战胜人类围棋冠军，人工智能技术开始全面爆发。如今，芯片和传感器的发展使“+智能”成为大势所趋：交通+智能，最懂你的路；医疗+智能，最懂你的痛

6、；制造+智能，最懂你所需。加州大学伯克利分校的学者们认为人工智能在过去二十年快速崛起主要归结于如下三点原因1：1）海量数据：随着互联网的兴起，数据以语音、视频和文字等形式快速增长；海量数据为机器学习算法提供了充足的营养，促使人工智能技术快速发展。2）高扩展计算机和软件系统：近年来深度学习成功主要归功于新一波的CPU集群、GPU和TPU等专用硬件和相关的软件平台。3）已有资源的可获得性：大量的开源软件协助处理数据和支持AI相关工作，节省了大量的开发时间和费用；同时许多云服务为开发者提供了随时可获取的计算和存储资源。在机器人、虚拟助手、自动驾驶、智能交通、智能制造、智慧城市等各个行业，人工智能正朝

7、着历史性时刻迈进。谷歌、微软、亚马逊等大公司纷纷将AI作为引领未来的核心发展战略。2017年谷歌DeepMind升级版的AlphaGo Zero横空出世；它不再需要人类棋谱数据，而是进行自我博弈，经过短短3天的自我训练就强势打败了AlphaGo。AlphaGo Zero能够发现新知识并发展出打破常规的新策略，让我们看到了利用人工智能技术改变人类命运的巨大潜能。我们现在看到的只是一个开始；未来，将会是一个全联接、超智能的世界。人工智能将为人们带来极致的体验，将积极影响人们的工作和生活，带来经济的繁荣与发展。AI安全白皮书迈向智能社会0202AI安全面临五大挑战AI有巨大的潜能改变人类命运，但同样

8、存在巨大的安全风险。这种安全风险存在的根本原因是AI算法设计之初普遍未考虑相关的安全威胁，使得AI算法的判断结果容易被恶意攻击者影响，导致AI系统判断失准。在工业、医疗、交通、监控等关键领域，安全危害尤为巨大；如果AI系统被恶意攻击，轻则造成财产损失，重则威胁人身安全。AI安全风险不仅仅存在于理论分析，并且真实的存在于现今各种AI应用中。例如攻击者通过修改恶意文件绕开恶意文件检测或恶意流量检测等基于AI的检测工具；加入简单的噪音，致使家中的语音控制系统成功调用恶意应用；刻意修改终端回传的数据或刻意与聊天机器人进行某些恶意对话，导致后端AI系统预测错误；在交通指示牌或其他车辆上贴上或涂上一些小标

9、记，致使自动驾驶车辆的判断错误。应对上述AI安全风险，AI系统在设计上面临五大安全挑战：软硬件的安全：在软件及硬件层面，包括应用、模型、平台和芯片，编码都可能存在漏洞或后门；攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击；由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。数据完整性：在数据层面，攻击者能够在训练阶段掺入恶意数据，影响AI模型推理能力；攻击者同样可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果。模型保密性：在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望曝露自己训练的模型；但通过多次查询，

10、攻击者能够构建出一个相似的模型，进而获得模型的相关信息。模型鲁棒性：训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强；模型面对恶意样本时，无法给出正确的判断结果。数据隐私：在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。AI安全白皮书AI安全面临五大挑战0303AI安全典型攻击方式闪避攻击是指通过修改输入，让AI模型无法对其正确识别。闪避攻击是学术界研究最多的一类攻击，下面是学术界提出的最具代表性的三种闪避攻击：对抗样本的提出：研究表明深度学习系统容易受到精心设计的输入样本的影响。这些输入样本就是学术界定义的对抗样例或样本，即Adversarial Exam

11、ples。它们通常是在正常样本上加入人眼难以察觉的微小扰动，可以很容易地愚弄正常的深度学习模型。微小扰动是对抗样本的基本前提，在原始样本处加入人类不易察觉的微小扰动会导致深度学习模型的性能下降。Szegedy等人2在2013年最早提出了对抗样本的概念。在其之后，学者相继提出了其他产生对抗样本的方法，其中Carlini等人提出的CW攻击可以在扰动很小的条件下达到100%的攻击成功率，并且能成功绕过大部分对抗样本的防御机制。物理世界的攻击：除了对数字的图片文件加扰，Eykholt等人3对路标实体做涂改，使AI路标识别算法将“禁止通行”的路标识别成为“限速45”。它与数字世界对抗样本的区别是，物理世

12、界的扰动需要抵抗缩放，裁剪，旋转，噪点等图像变换。传递性与黑盒攻击：生成对抗样本需要知道AI模型参数，但是在某些场景下攻击者无法得到模型参数。Papernot等人4发现对一个模型生成的对抗样本也能欺骗另一个模型，只要两个模型的训练数据是一样的。这种传递性（Transferability）可以用来发起黑盒攻击，即攻击者不知道AI模型参数。其攻击方法是，攻击者先对要攻击的模型进行多次查询，然后用查询结果来训练一个“替代模型”，最后攻击者用替代模型来产生对抗样本。产生出来的对抗样本可以成功欺骗原模型。3.1 闪避攻击AI安全白皮书AI安全典型攻击方式04AI系统通常用运行期间收集的新数据进行重训练，

13、以适应数据分布的变化。例如，入侵检测系统（IDS）持续在网络上收集样本，并重新训练来检测新的攻击。在这种情况下，攻击者可能通过注入精心设计的样本，即药饵，来使训练数据中毒（被污染），最终危及整个AI系统的正常功能，例如逃逸AI的安全分类等。深度学习的特点是需要大量训练样本，所以样本质量很难完全保证。Jagielski等人5发现，可以在训练样本中掺杂少量的恶意样本，就能很大程度干扰AI模型准确率。他们提出最优坡度攻击、全局最优攻击、统计优化攻击三种药饵攻击。并展示了这些药饵攻击对于健康数据库，借贷数据库跟房价数据库的攻击，影响这些AI模型对新样本的判断。通过加入药饵数据影响对用药量的分析、对贷款

14、量/利息的分析判断、对房子售价的判断。通过加入8%的恶意数据，攻击者能够使模型对超过50%的患者的用药量建议时，出现超过75%的变化量。3.2 药饵攻击与传统程序相同，AI模型也可以被嵌入后门。只有制造后门的人知道如何触发，其他人无法知道后门的存在，也无法触发。与传统程序不同的是，神经网络模型仅由一组参数构成，没有源代码可以被人读懂，所以后门的隐蔽性更高。攻击者通过在神经网络模型中植入特定的神经元生成带有后门的模型，使得模型虽然对正常输入与原模型判断一致，但对特殊输入的判断会受攻击者控制。如Gu等人6提出一种在AI模型中嵌入后门的方法，只有输入图像中包含特定图案才能触发后门，而其他人很难通过分

15、析模型知道这个图案或这个后面的存在。此类攻击多发生在模型的生成或传输过程。3.3 后门攻击模型/训练数据窃取攻击是指攻击者通过查询，分析系统的输入输出和其他外部信息，推测系统模型的参数及训练数据信息。与Software-as-a-Service类似，云服务商提出了AI-as-a-Service（AIaaS）的概念，即由AI服务提供商负责模型训练和识别等服务。这些服务对外开放，用户可以用其开放的接口进行图像，语音识别等操作。Tramr等学者7提出一种攻击，通过多次调用AIaaS的识别接口，从而把AI模型“窃取”出来。这会带来两个问题：一是知识产权的窃取。样本收集和模型训练需要耗费很大资源，训练出

16、来的模型是重要的知识产权。二是前文提到的黑盒闪避攻击。攻击者可以通过窃取的模型构造对抗样本。3.4 模型窃取攻击AI安全白皮书AI安全典型攻击方式0504AI安全防御手段图1描绘了AI系统部署到业务场景中所需要三个层次的防御手段：1、攻防安全：对已知攻击所设计的有针对性的防御机制；2、模型安全：通过模型验证等手段提升模型健壮性；3、架构安全：在AI部署的业务中设计不同的安全机制保证架构安全。AI安全白皮书AI安全防御手段图1 AI安全防御架构AI安全攻防安全防闪避攻击、防药饵攻击、防后门攻击、防模型窃取模型安全数据可解释、可验证模型、模型健壮性、可解释模型架构安全隔离与检测、冗余与熔断、多模型架构、数据自恰性AI模型训练业务反馈模型部署AI云侧训练AI业务部署数据防药饵数据数据可解释数据自恰防模型窃取模型可解释多模型架构隔离|检测冗余|熔断防闪避、后门可验证模型模型健壮性设备功能功能业务总控功能功能数据AI推理数据数据数据设备设备设备AI推理AI推理AI推理AI推理06针对上一章提到已知的攻击方式，学术界已有许多对抗方法，对于可能遭受的攻击能提供不同程度的缓解，图2列出AI系统在数据收