《人工智能安全研究报告——技术视角下的安全风险梳理与应对（2025）》发布

随着“人工智能+”行动的深入推进,人工智能已从单一技术工具逐步演进为驱动社会生产生活方式变革的核心力量。然而,在技术赋能的背后,人工智能不仅集成并放大了传统信息系统的安全风险,还以更复杂、更隐蔽的方式催生新风险,威胁着信息系统与业务生产全环节。日前,中国信通院人工智能研究所发布《人工智能安全研究报告——技术视角下的安全风险梳理与应对(2025)》(以下简称“报告”)。

报告立足技术视角,从基础设施层、数据层、模型层、应用层以及衍生场景五个角度系统梳理了人工智能安全风险,全面总结了当前安全防护技术现状及其面临的挑战,并从宏观管理、技术手段、产业生态三个层面提出应对策略,建立了一套覆盖人工智能全生命周期的技术安全分析体系,提出了多维度的风险评估框架,并在实际场景中验证了框架的适用性与有效性,为政策制定者、监管部门、行业从业者以及行业组织等提供全面的安全洞察、策略建议、决策依据和技术攻关指引。

报告指出,区别于传统网络安全,人工智能安全风险载体更为多样,总体呈现多维复杂交织新态势。一方面,数据、模型、部署应用带来人工智能风险的全新载体。模型训练过程中的数据投毒可导致模型偏见和错误决策;模型自身的“黑盒”问题带来不可预期的安全风险;而人工智能应用的落地更是引入诸如智能体和通信协议等多样的风险入口。另一方面,人工智能系统的内生风险和具体应用场景下的衍生风险通过数据产用闭环、算法缺陷传导、模型风险收敛三重机制形成非线性的复杂交织的新态势,风险也由“单点故障”向“系统级复杂涌现”演进。

从技术角度看,当前人工智能风险主要体现在基础设施层、数据层、模型层、应用层以及衍生场景五个维度。基础设施层风险主要表现为软件供应链不可信风险、硬件缺陷被利用风险以及软硬集成脆弱性风险。数据层风险主要包括数据的合规性与完整性缺失、数据污染、敏感信息残留、标注质量缺陷等,贯穿数据采集、清洗、标注等多个环节。模型层风险核心体现为固有属性缺陷、防范能力不足及潜在前沿风险。应用层风险既包括小模型在集成与运行环节所暴露出的逻辑缺陷,也包括智能体等新应用带来的权限控制、通信协议安全等新型风险。人工智能技术在具体场景下的衍生风险则包括被攻击者利用实施攻击性操作的滥用风险、因系统设计缺陷或部署偏差导致的误用风险以及特定应用中的场景化投射风险。

针对人工智能系统不同层级的安全风险,当前的安全防护措施存在一定短板。报告指出,未来需从宏观管理、技术手段、产业生态三维度构建全面的技术风险应对体系。一是从宏观管理层面构建多维立体化技术防范体系。结合行业场景属性与技术安全风险“实施-识别-危害”全流程,实施风险分类分级管理,再根据分类分级结果明确技术应对优先级。该风险分类分级框架已在代码大模型场景中得到验证,可有效评估其风险等级。二是从技术层面形成系统化防御手段。构建跨层级协同防御机制,形成具备主动进化能力的防御体系,同时围绕人工智能全生命周期搭建立体防护架构。三是从产业生态层面形成共建共治共享的联动体系。政府及监管部门从顶层设计出发,建立安全标准与检测监测的立体化联动机制;联合科研机构与企业推进技术攻关及安全标准落地,共同支撑人工智能安全产业生态的建立。

(编辑:王胜男)