邮发代号 2-786
征订热线：010-82341063
文 | 中国电子技术标准化研究院 郝春亮 张妍婷 王姣当前，以大型模型为代表的人工智能技术迅猛发展，其应用范围持续拓宽，应用层次不断深化。这一发展为社会生产生活注入了前所未有的动能与活力。然而，在推动经济社会发展的同时，人工智能技术所面临的安全挑战和风险也日益凸显。面对这一形势，亟需构筑坚实的人工智能安全治理体系，有效应对人工智能安全风险，保障人工智能技术的安全、快速、有序发展。为贯彻习近平总书记提出的“坚持以人为本、智能向善”的理念，全国网络安全标准化技术委员会积极响应并落实《全球人工智能治理倡议》，制定了《人工智能安全治理框架》（以下简称《框架》），并于 2024 年全国网络安全宣传周正式发布。《框架》的发布，不仅标志着我国在人工智能安全治理领域的重要进展，也为社会各界提供了清晰的指导蓝图和参考依据，推动人工智能安全治理工作迈向更高水平和更广领域。近年来，我国高度重视人工智能治理工作。习近平总书记在“一带一路”国际合作高峰论坛上亲自宣布中方提出《全球人工智能治理倡议》（以下简称《倡议》），并强调发展和安全并重的原则。《倡议》围绕人工智能发展、安全和治理三方面系统阐释了中国方案，不仅为全球人工智能治理提供了新视角，也为我国在国际舞台上发挥引领作用奠定了基础。
《倡议》明确提出，要“形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性”。实现这一目标需要全社会共同努力与紧密协作，这不仅需要各界密切合作以制定科学合理的政策和标准，还需要加强技术研发以提升安全防护能力，确保在推动创新的同时，维护社会的整体利益和公共安全。唯有建立健全的人工智能安全治理框架，才能在充分利用人工智能技术机遇的同时，降低潜在安全风险，营造更加开放包容的治理环境，推动经济、社会与技术的协调发展，实现科技与人类社会的和谐共生，为人类社会的长远发展注入新动能。《框架》系统总结并分享了我国在人工智能安全治理领域的研究成果与实践经验，为国内外各界提供了一份深入学习、准确理解以及高效识别人工智能安全风险的详尽指南。《框架》的适时发布，不仅为全球人工智能安全治理工作做出了积极贡献，也展现了我国在人工智能领域的研究深度和实践广度，彰显了作为全球人工智能大国的责任担当和国际社会共同应对人工智能挑战的积极态度。
《框架》聚焦于构建全方位、全链条的治理体系，旨在推动形成覆盖人工智能发展全周期和全要素的治理格局。这一体系强调多方参与、技管结合与分工协作，充分发挥政府监管、行业自律和社会监督等治理机制的合力，推动人工智能健康发展和规范应用。通过设立明确的治理目标和标准规范，提供切实可行的操作指南，《框架》帮助各方在人工智能开发和应用过程中有效识别并应对安全风险。作为我国《倡议》的细化与深化，《框架》为社会各界积极响应《倡议》提供了有力支撑。《框架》的有效实施将为构建健康有序的人工智能生态体系奠定坚实基础，推动人工智能技术的负责任创新，指引各行业和领域明确人工智能安全治理目标与措施。通过体系化的治理工作提升治理效率和效果，《框架》为应对人工智能技术应用中的复杂挑战提供了科学指导，并为实现人工智能的可持续发展提供了重要保障。《框架》以有效防范和化解人工智能安全风险为出发点和落脚点，按照风险管理思路，紧密结合人工智能特性，从内生与应用两个维度分析人工智能安全风险，明确风险来源和表现形式，并提出相应的技术应对和综合治理措施，同时提供安全开发与应用指引。《框架》内容主要包含四个核心部分。
一是人工智能安全治理原则。《框架》阐述了人工智能安全治理的理念与原则，坚持发展和安全并重，提出了包容审慎、确保安全；风险导向、敏捷治理；技管结合、协同应对；开放合作、共治共享四项原则。这些原则为人工智能安全治理工作提供了整体思路，通过构建全过程、全要素的治理链条，确保在复杂技术环境中有效实施安全治理。二是人工智能安全风险分类。针对安全风险，《框架》紧密结合人工智能特性并系统梳理了其所面临的重大安全风险，主要分为两大类：第一，内生风险。由人工智能技术本身的缺陷和不足引发，包括模型算法安全风险、数据安全风险和系统安全风险。例如，可能出现的偏见歧视、不可靠输出、数据标注不规范、训练数据被投毒、模型缺陷或后门被攻击利用等问题。第二，应用安全风险。由人工智能的不当使用、滥用或恶意利用引发，包括网络域、现实域、认知域和伦理域四个方面。例如，不当使用导致信息泄露，模型复用引发缺陷传导，加剧信息茧房效应，被用于违法犯罪活动，以及混淆事实、误导用户、绕过鉴权等问题。《框架》全面梳理了人工智能系统在设计、研发、训练、测试、部署、使用、维护等全生命周期各环节的安全风险，为有效识别相关风险提供了基本依据。三是技术应对与综合治理措施。针对不同类型的安全风险，《框架》从技术和管理两方面提出了防范与应对措施。对于模型、数据和系统三方面的内生安全风险，提出了在模型全生命周期中建立并实施安全开发规范、加强数据安全管理、对输出内容进行明晰标识等技术应对措施，并推动构建负责任的研发应用体系、强化供应链安全保障等综合治理措施。针对网络、现实、认知和伦理四方面的应用安全风险，提出了建立安全防护机制与数据护栏、提高人工智能系统最终用途追溯能力、加强对人工智能生成合成内容的检测等技术应对措施，同时实施人工智能应用分类分级管理、建立人工智能安全风险威胁信息共享和应急处置机制等综合治理措施。这一部分充分体现了《框架》提出的“技管结合、协同应对”原则。在技术层面，模型算法研发者、服务提供者和系统使用者需从训练数据、算力设施、模型算法、产品服务、应用场景等环节采取技术防控措施；在管理方面，建立完善技术研发机构、服务提供者、用户、政府部门、行业协会、社会组织等多方参与的人工智能安全风险综合治理制度与规范。四是人工智能安全开发应用指引。《框架》提供了各方在开发、应用人工智能时的具体安全指引，明确了不同主体在开展人工智能相关活动时应遵循的安全规范。这些指引包括模型算法研发者如何进行安全开发、服务提供者如何安全提供人工智能服务，以及重点领域的使用者和社会公众如何安全应用人工智能技术。这些指引为各方提供了明确的行动框架，旨在确保人工智能技术安全、可控和负责任的发展。通过以上四个方面核心内容，《框架》在推动各方就人工智能安全治理达成共识、协调一致方面将发挥重要作用。为各界提供了一个共同的参考框架，帮助相关各方清晰理解人工智能安全治理的目标与要求。在此基础上，通过建立各方共同参与、技管结合、分工协作的治理机制，《框架》有效整合资源、促进信息共享，全面提升人工智能安全治理的整体效能。人工智能安全标准化是落实《框架》的关键环节。科学、合理的安全标准不仅为《框架》的落地提供了有力支撑，还为各方落实《框架》安全治理要求提供了具体的操作指南。通过推动人工智能安全标准化工作，可以有效促进人工智能技术的负责任开发与应用，为技术创新提供安全保障，推动人工智能在各个领域的健康发展，助力构建更安全、更可持续的人工智能生态。
加快构建并持续完善人工智能安全治理标准体系，是当前推动人工智能安全的重要任务。通过统筹规划与合理布局，形成科学、统一的标准体系，不仅有助于凝聚各方对人工智能安全治理方面的共识，还能促进开放、公正和有效的治理机制的建立。完善的标准体系为人工智能技术的健康发展与安全应用提供了坚实保障，为各类参与者在安全合规方面提供明确指引，推动人工智能行业有序发展。为应对人工智能技术与应用带来的网络安全挑战，亟需推动一系列重点领域标准的研制工作，包括生成式人工智能服务安全基本要求、数据标注安全规范、训练数据安全规范，以及人工智能生成合成内容标识方法等。这些标准的制定不仅能为行业提供具体的安全指导，还能有效保障用户的数据安全与个人隐私，提升公众对人工智能技术的信任度。通过实施系统化、标准化的安全措施，可以为人工智能的健康发展奠定坚实基础，确保人工智能技术与应用在安全、合规的环境中蓬勃发展。随着人工智能技术在各行业的深入应用，重点聚焦金融、能源、电信、交通和民生等关键领域的安全问题，探索和推进标准化工作。通过组织行业内相关单位开展人工智能安全标准化研究，有效识别并防范和化解人工智能带来的安全风险。通过深化行业间合作，沉淀安全实践，推动适应各领域需求的最佳实践在全行业范围内分享与应用。此举不仅保障了人工智能技术在各领域的安全、有效应用，还为行业智能化转型与可持续发展提供了有力支持，切实维护公众利益。为有效应对复杂多变的人工智能安全风险，需加强《框架》及人工智能安全标准的宣贯工作。面向人工智能企业、网络安全企业、科研机构以及地方主管部门等，积极开展《框架》及人工智能安全标准的宣讲活动，通过多层次、多角度的宣传，确保相关单位深入理解并准确执行标准。同时，充分利用新媒体和数字化渠道，如社交平台、在线研讨会和网络课程等，扩大宣贯覆盖范围，提高公众和从业者对《框架》及人工智能安全标准的认知度，激发各方积极参与。通过系统化贯宣，确保《框架》及相关标准在实践中的有效落实，推动人工智能技术安全、规范、有序发展。（本文刊登于《中国信息安全》杂志2024年第10期）
分享网络安全知识 强化网络安全意识
欢迎关注《中国信息安全》杂志官方抖音号
文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664234775&idx=1&sn=83ab940ab301a0f823a6e47ed7b51c15&chksm=8b59fdeebc2e74f8b7a174a9b5260fa421c3d74a9f3d3eef6564785924f1c7114ca46617dffc&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh