人工智能AI安全白皮书.pdf

AI 安全白皮书

AI 安全白皮书

执行摘要

执行摘要

近年来，随着海量数据的积累、计算能力的发展、机器学习方

法与系统的持续创新与演进，诸如图像识别、语音识别、自然

语言翻译等人工智能技术得到普遍部署和广泛应用，人工智

能正朝着历史性时刻迈进。与此同时， AI 对于传统计算机安全

领域的研究也产生了重大影响，除了利用 AI 来构建各种恶意检

测、攻击识别系统外，黑客也可能利用 AI 达到更精准的攻击。

除此之外，在关键的 AI 应用场景上， AI 自身的安全性变得前所 未

有的重要，极需要构建一个不会被外界干扰而影响判断的健壮

AI 系统。可以说 AI 帮助了安全，安全也能帮助 AI 。

本白皮书主要目的是探讨 AI 自身的安全，确保 AI 模型和数据的

完整性与保密性，使其在不同的业务场景下，不会轻易地被攻

击者影响而改变判断结果或泄露数据。不同于传统的系统安全

漏洞，机器学习系统存在安全漏洞的根因是其工作原理极为复

杂，缺乏可解释性。各种 AI 系统安全问题（恶意机器学习）随之

产生，闪避攻击、药饵攻击以及各种后门漏洞攻击层出不穷。

这些攻击不但精准，而且对不同的机器学习模型有很强的可传

递性，使得基于深度神经网络（ DNN ）的一系列 AI 应用面临较

大的安全威胁。例如，攻击者在训练阶段掺入恶意数据，影响

AI 模型推理能力；同样也可以在判断阶段对要判断的样本加入

少量噪音，刻意改变判断结果；攻击者还可能在模型中植入后

门并实施高级攻击；也能通过多次查询窃取模型和数据信息。

XX致力于AI 安全的研究，旨在提供一个令用户放心的 AI 应用安 全

环境，为 XX AI 使能构建智能世界的新时代愿景与使命做出 贡献。

为了应对 AI 安全的新挑战，本白皮书提出了将 AI 系统部 署到业

务场景中所需要的三个层次的防御手段：攻防安全，对已知攻