人工智能安全框架报告（69页）

行业报告下载 2021年01月22日 07:59 管理员

检验验证阶段安全风险。检验验证阶段是指检查人工智能系统是否按照预期需求工作以及是否完全满足预定目标。这个阶段的安全风险主要表现为测试验证不充分，未及时发现和修复前序阶段的安全风险。部署阶段安全风险。部署阶段是指在目标环境中安装和配置人工智能系统的过程。这个阶段的安全风险主要表现为人工智能系统部署的软硬件环境不可信，系统可能遭受非授权访问和非授权使用。运行监控阶段安全风险。运行监控阶段，人工智能系统处于运行和可使用状态，主要包括运行监控、维护升级等过程。这个阶段的安全风险主要表现为恶意攻击者对人工智能系统发起的对抗样本、算法后门、模型窃取、模型反馈误导、数据逆向还原、成员推理、属性推断、代码漏洞利用等安全攻击，以及人工智能系统遭受滥用或恶意应用。持续验证阶段安全风险。在持续验证阶段，对于开展持续学习的人工智能系统进行持续检验和验证。

这个阶段的安全风险主要表现为测试验证数据更新不及时，未及时发现和修复因持续学习引入的模型反馈误导等安全风险。重新评估阶段安全风险。当初始目标无法达到或者需要修改时，进入重新评估阶段。该阶段主要包括设计定义、需求定义、风险管理等过程。这个阶段主要涉及需求调整和重新定义，因而其安全风险与初始阶段的安全风险类似，即人工智能应用目标的设定有悖国家法律法规和社会伦理规范。近年来，人工智能安全热点技术方向发表论文发表情况如图 3 所示。根据论文发表量可以看出，对抗样本攻击和防御是人工智能安全领域最受关注的研究方向。随后，数据投毒攻击和防御、模型可解释、算法后门攻击和防御这三个方向的论文发表量也均在 9000 篇以上，关注度较高。其次，联邦学习、差分隐私机器学习和深度伪造及检测近年来也逐渐成为受关注的技术方向。随着人工智能技术应用愈加频繁，机器学习开源框架平台的安全性逐渐受到重视。机器学习开源框架平台安全漏洞挖掘修复也成为人工智能安全领域的热点研究方向。全球著名漏洞数据库 CVE 披露的典型机器学习开源框架平台安全漏洞数量逐渐增多，截至 2020 年 11 月 20 日的收录情况如图 4 所示。

人工智能安全框架报告（69页）