人工智能安全框架报告（69页）

检验验证阶段安全风险。检验验证阶段是指检查人工智能系统是 否按照预期需求工作以及是否完全满足预定目标。这个阶段的安全风 险主要表现为测试验证不充分，未及时发现和修复前序阶段的安全风 险。 部署阶段安全风险。部署阶段是指在目标环境中安装和配置人工 智能系统的过程。这个阶段的安全风险主要表现为人工智能系统部署 的软硬件环境不可信，系统可能遭受非授权访问和非授权使用。 运行监控阶段安全风险。运行监控阶段，人工智能系统处于运行 和可使用状态，主要包括运行监控、维护升级等过程。这个阶段的安 全风险主要表现为恶意攻击者对人工智能系统发起的对抗样本、算法 后门、模型窃取、模型反馈误导、数据逆向还原、成员推理、属性推 断、代码漏洞利用等安全攻击，以及人工智能系统遭受滥用或恶意应 用。 持续验证阶段安全风险。在持续验证阶段，对于开展持续学习的 人工智能系统进行持续检验和验证。

这个阶段的安全风险主要表现为 测试验证数据更新不及时，未及时发现和修复因持续学习引入的模型 反馈误导等安全风险。 重新评估阶段安全风险。当初始目标无法达到或者需要修改时， 进入重新评估阶段。该阶段主要包括设计定义、需求定义、风险管理 等过程。这个阶段主要涉及需求调整和重新定义，因而其安全风险与 初始阶段的安全风险类似，即人工智能应用目标的设定有悖国家法律 法规和社会伦理规范。近年来，人工智能安全热点技术方向发表论文发表情况如图 3 所 示。根据论文发表量可以看出，对抗样本攻击和防御是人工智能安全 领域最受关注的研究方向。随后，数据投毒攻击和防御、模型可解释、 算法后门攻击和防御这三个方向的论文发表量也均在 9000 篇以上， 关注度较高。其次，联邦学习、差分隐私机器学习和深度伪造及检测 近年来也逐渐成为受关注的技术方向。随着人工智能技术应用愈加频繁，机器学习开源框架平台的安全 性逐渐受到重视。机器学习开源框架平台安全漏洞挖掘修复也成为人 工智能安全领域的热点研究方向。全球著名漏洞数据库 CVE 披露的典 型机器学习开源框架平台安全漏洞数量逐渐增多，截至 2020 年 11 月 20 日的收录情况如图 4 所示。