中实网——中国实践智库官方融媒矩阵主网站

实践智库

东方法学特稿|刘双阳:具身智能的数据安全风险及刑法应对——以人形机器人的研发与应用为例

浏览:20232次 发布时间:2024-05-27 20:56:55

作者:刘双阳,中国政法大学刑事司法学院讲师、法学博士。

关于人工智能技术的最新研究发现,智能体的智能化程度与其客观的“身体”结构之间存在很强的正相关性,即智能体的认知能力无法脱离“身体”单独存在。“认知是被身体作用于世界的活动所塑造出来的,身体的特殊细节造就了认知的特殊性”,这就是心理学上的“具身认知”(Embodied Cognition)概念—承认身体对认知的塑造,认知过程根植于身体,即身体参与了生物的认知过程,影响了思维、判断、态度、情绪等心智发育。今天地球上的所有智力活动,都是生物通过自己的身体,真切地与现实环境产生认知交互后,基于自身的学习进化而形成的。具身认知理论对于新一代智能机器人的研发与应用对我们产生重要启示:人工智能的具身化。“机器人未来发展的一个重要趋势是越来越接近生物,不再是冰冷的机器,而是具有认知、情绪、逻辑、动作等在内的一系列类人化特征”,人形机器人由此应运而生。

一、问题的提出

当前,在新一轮科技革命浪潮和国家高新技术领域支持政策的强力推动下,人形机器人产业发展一路高歌猛进,人形机器人技术快速迭代更新,产品种类和应用场景也不断拓展。人形机器人走出实验室,与现实世界生产生活深度融合的时代正在来临,2024年是人形机器人产业发展的一个重要节点,或将迎来商业化应用元年。人形机器人产业的蓬勃发展标志着人工智能技术的创新应用正向“具身智能”(Embodied Intelligence,简称EI)这一新赛道加速演进。所谓具身智能,是指机器人或者智能体能够像人一样在感知、理解周围环境的基础上与环境实时进行交互,并根据环境的变化自主作出相应的决策和行动,被称为“人工智能发展的终极形态”。相较于主要依托由代码符号或者技术规则所构成的纯软件系统运行的传统人工智能产品(如AI绘图软件、在线智能问答平台、ChatGPT应用程序等),具身智能的特点是强调将感知和行动有机结合,可以简单理解为让软硬件结合的智能体做到“知行合一”,在真实的物理环境下通过算法决策和肢体动作相互配合来执行各种各样的任务。

仿照人的身体构造设计并支持物理交互的人形机器人是典型的具身智能体,能够全面再现人的大脑决策和肢体运动功能。在人形机器人的研发与应用过程中收集和产生的数据被统称为“具身智能数据”。在预训练和优化训练阶段,“人工智能需要数据来建立其智能,特别是机器学习。人工智能应用的数据越多、质量越高,其获得的结果就越准确”。相较于只是具备送餐、对话、拧螺丝等简单功能的弱人工智能体,基于具身认知研发的人形机器人则是朝着强人工智能方向迭代升级,其拥有更为复杂的多模态精确感知、全身协调鲁棒移动、灵巧操作、“人—机—环境”共融交互能力以及在此基础上开发的应急救援、交通巡检、医疗协作、陪伴护理、家居服务、社交娱乐等高度智能化功能,对于训练语料数据的数量和质量自然也有更高的需求。人形机器人投入生产生活使用后,具身智能系统的稳定运行依赖元器件、通信网络和算法模型将采集到的文字、图像、音频、视频等信息转化成电子数据进行即时存储、快速传输、高效运算、自动分析,从而实现态势感知、人机交互、智能决策、行动控制一体化。简言之,具身智能数据是支撑人形机器人研发与应用不可或缺的基础性要素。

在海量数据收集、汇聚、流动、利用过程中,潜藏着无可避免且巨大的具身智能数据安全风险,极易诱发各类数据安全事件。例如,微软AI研究团队在软件开发平台GitHub上发布开源代码和用于图像识别的算法模型时意外泄露38TB的隐私数据,包括用于微软服务的密码、秘钥以及Teams上359名微软员工的超3万条内部群聊消息,网址链接给予访问者的权限不是“只读”,而是“完全控制”,意味着任何人都有可能在整个账户中恶意删除、替换或者添加数据,再次引起公众对人工智能数据安全问题的关注。对此,工业和信息化部印发的《人形机器人创新发展指导意见》从技术防护层面提出,强化重点环节安全风险评估,提高信息获取、数据交互、数据安全等技术保障能力;中共中央、国务院印发的《关于构建数据基础制度更好发挥数据要素作用的意见》(以下简称《数据二十条》)从制度建设层面提出,建立安全可控、弹性包容的数据要素治理制度;国务院印发的《新一代人工智能发展规划》则从理论研究层面提出,开展与人工智能应用相关的刑事责任确认、数据安全保障等法律问题研究,加大对数据滥用等行为的惩戒力度。刑法作为数据安全治理的重要手段,理应及时关注并积极应对人形机器人研发与应用过程中衍生的具身智能数据安全风险。

人工智能领域日益严峻的数据安全风险态势及频发的数据安全事件,不仅引发全社会的高度关注和普遍担忧,给人形机器人产业的发展带来负面影响,而且导致了危害后果更为严重的数据泄露、窃取、篡改、毁损、滥用等数据犯罪,时时向传统刑法理论和现行罪刑规范提出新的挑战。其一,就外部侵害行为干预而言,刑法如何适应人工智能技术的发展,妥当回应公众急剧增强的具身智能数据安全保护需求,在立法或者司法上引入科学机制、采取适当措施,加强数据安全法益保护力度,积极防范和有效规制人形机器人研发与应用过程中具身智能数据遭受的不法侵害行为,在具身智能领域筑牢数据安全屏障;其二,就内部失职责任追究而言,刑法如何统筹平衡促进人形机器人产业创新发展与保障具身智能数据安全的关系,既有效规制、精准惩治具身智能服务提供者的不作为,又合理确定怠于履行数据安全保护义务行为罪与非罪的界限以及相关主体承担刑事责任的范围,避免因过罪化阻碍人工智能技术进步与创新应用,这是强人工智能时代数据刑事治理面临的崭新课题与重大难题。

二、人工智能的具身化催生双重数据安全风险

随着人形机器人的研发生产与推广应用,“法律需要考虑,人工智能的具身化,例如以机器人的形式,或者以比特形式存在于云空间时,是否造成差别”。人工智能的具身化意味着AI从由代码塑造的虚拟空间进入更为复杂的现实世界,与人类共享物理空间,“催生了人类主体与机器主体间全新的具身性规范需求”。区别于人工智能应用程序或者普通智能体,具身智能体的显著特点或者独特优势在于具备强大的环境感知、认知交互、智能决策、行动控制能力,能够自主模仿学习并复刻人类动作(行为克隆),从而掌握各种复杂技能。高精度、多模态具身智能大模型的训练以及人形机器人在物理环境下实现仿生感知—认知—决策—控制一体化,必然需要规模庞大、类型多样、高效交换的数据处理活动作支撑,网络数据成为连接和贯通人形机器人“中枢大脑”(处理器)、“运动小脑”(控制器)、“肢体动作”(执行器)的纽带,驱动人形机器人根据AI大模型的运算结果以及自动化决策生成的指令执行各种需要精细操作的高难度任务。“当网络化和数据交换不断扩大时,相应地,数据网络犯罪也会侵入到更多区域”,具身智能的训练与使用正面临着双重数据安全风险。

(一)人形机器人研发与应用过程中的数据控制安全风险

数据、算法和算力被称为驱动人工智能发展的“三驾马车”,“机器学习算法运行在海量数据(所谓的大数据)之上,并且在这些数据中寻找连人类都无法识别的模式”。此前人形机器人的技术进步更多是体现在仿生材料、专用芯片、动力能源等工业制造方面,生成式AI大模型投入使用推动人形机器人的智能化程度发生质变,帮助人形机器人的研发与应用跨过关键技术难关,加速了具身智能的进化。基于AI大模型开发塑造人形机器人强大的感知、认知、决策、行动能力,依赖海量训练数据的“投喂”,离不开高质量的AI大模型预训练、优化训练语料库,“因为人工智能的绩效取决于数据的质量,不能代表目标总体(target population)的数据可能会导致人工智能出现偏差”。简言之,优质的训练数据是生成出色的多模态算法模型的基础。2023年国家互联网信息办公室等七部委联合颁布的《生成式人工智能服务管理暂行办法》明确要求从真实性、准确性、客观性、多样性等方面采取有效措施提高训练数据的质量。全国信息安全标准化技术委员会目前正在制定与之配套的《网络安全技术生成式人工智能预训练和优化训练数据安全规范》。为保证基础训练数据集合的质量,其规模通常达到数百亿甚至成千上万亿级参数量,如最新版本的GPT-4的参数量高达1.76万亿,是GPT-3参数量的10倍,AI大模型性能质的提升正是得益于训练数据规模的倍增。“成为‘大’数据库有两种不同的方式:一是数据库包含的信息涉及大量数据主体,二是数据库包含数据主体的大量信息。”前者指向的是数据库的广度,后者指向的是数据库的深度。

训练语料库的数据体量越大,价值自然也水涨船高,“计算机数据是无形的:这些新的无形物代表着当今数字社会某些最重要的利益和价值观”,有利益的地方就有犯罪人,承载着各种利益的具身智能数据也就不可避免地成为不法分子所觊觎的目标,尤其是海量训练数据汇聚形成的语料库无疑是数据安全风险的“重灾区”,“此类数据的访问处理如何以安全、合规、保护隐私的方式进行,对安全技术保障措施提出了更高要求”。此外,人形机器人还扮演着一种社交角色,可能成为人类未来的朋友伙伴或者私人助理,能够陪伴人类的日常生活、倾听人类的心声,提供精神安慰和情绪价值,一旦因系统漏洞或者遭受外部攻击,发生数据泄露、窃取、篡改、毁损,将造成难以挽回的危害后果和严重的信任危机。例如,因存在数据泄露等方面的社会性风险,意大利个人数据保护局(DPA)宣布从2023年3月31日起暂时禁止使用新型AI聊天机器人ChatGPT,并限制开发这一平台的OpenAI公司处理意大利用户的信息数据,同时对其数据安全问题立案调查。

泄露、窃取、篡改、毁损具身智能数据表征的是一种静态的数据安全风险,影响的是数据控制安全,即不法行为破坏了数据本身的保密性、完整性和可用性。对此,国家互联网信息办公室发布的《网络数据安全管理条例(征求意见稿)》以及全国信息安全标准化技术委员会发布的国家标准《信息安全技术网络数据处理安全要求》(GB/T41479—2022)均明确要求数据处理者应当采取备份、加密、访问控制等必要措施,防范针对数据的违法犯罪活动,维护数据的保密性、完整性、可用性。具体而言,(1)数据的保密性,是指免于受到未得授权人探知获悉,确保数据不泄露给未获得授权的个人、实体、进程,或不被其利用;(2)数据的完整性,是指免于受到无权删除、篡改或者增加等干扰破坏,保障电磁记录准确、真实和完备;(3)数据的可用性,是指得到授权的个人、实体一旦需要就随时可以访问和使用数据,免于受到不正当阻碍。数据控制安全三要素体现的是一种赋权观念,侧重于保护数据主体对于数据的支配性、排他性控制,致力于通过完善管理制度或者创新技术措施,建构一套以访问控制为核心的防御性的数据安全保护体系,防止数据因系统漏洞或者黑客攻击而遭受泄露、窃取、篡改、毁损。例如,为防范人形机器人等智能体研发与应用过程中的数据控制安全风险,欧盟人工智能法案第10条规定,为预期目的而处理特殊类别个人数据须采取适当的措施,保障所处理的个人数据安全,包括严格的访问记录和控制,确保只有经授权的人才能访问这些个人数据,并承担适当的保密义务。

(二)人形机器人研发与应用过程中的数据利用安全风险

人形机器人之所以能够在精准感知周围环境后自主作出决策并控制自身行为,即具备理解和改造客观世界的能力,关键在于由数据、特征、算法三要素构成的机器学习(Machine Learning)——通过使用带有正确答案标签的训练数据,识别和提取特征,建立算法模型,并将所学规律应用于新数据进行预测或者分类的过程。“机器学习算法分析的一些数据将包含个人或其他有关个人或企业的敏感信息,故而,机器学习算法带来了关于如何存储和使用这些数据相关的隐私问题。”在AI大模型训练阶段,真实的个人信息作为训练数据可以使具身智能产品与服务更加个性化、定制化,改善用户体验感。“生成式人工智能生成较为准确且完成度较高的结论的运行过程,主要是对个人数据进行再次深度加工,通过组合分析不同类型的个人数据来充分挖掘出其潜在价值。”而在提供家务劳动、医疗护理、教育辅导、情绪疗愈等具身智能服务的过程中,人形机器人往往需要采集和使用特定身份资料、生物识别特征(人脸、步态、指纹、虹膜、声纹、DNA等)、健康生理状况等敏感个人信息,人机实时交互的特点几乎没有给常用的“机审+人审”方式留下机会,隐含着敏感个人信息被违规利用的巨大风险,甚至“某些之前认为无关紧要的数据在聚合分析技术条件下也会成为高风险敏感数据”,而且“随着时间的推移,它们通过复杂的算法和人工智能技术,以不确定和无法预料的方式动态地自我调整以适应新数据”,具身智能应用场景下别有用心者操纵数据滥用可能会给隐私保护、财产安全、社会管理等方面带来诸多困扰或者威胁,引发公众忧虑和信任危机。例如,人形机器人的行动控制能力需要通过视频演示和人类示范联合训练,不法分子非法获取具身智能的训练数据后,只需使用清晰的面部图像、语音、动作等,就可以利用深度学习、虚拟现实等深度合成类算法制作虚假色情视频、实施AI换脸拟声电信诈骗或者破解人脸识别认证等。

机器学习算法应用于具身智能引起的数据利用安全风险是动态的,贯穿数据处理全流程,“数据安全并不仅仅在于技术本身,而是在于因数据的开放、流通和应用而导致的各种风险和危机”。根据我国数据安全法第3条第3款对“数据安全”概念的重新界定,数字经济时代的数据安全包括数据控制安全(有效保护)和数据利用安全(合法利用)两个维度。“传统理论中数据的完整性、保密性和可用性的评价体系仅仅是具体时间节点的数据安全状态,本法的界定方式实质上是将整个数据处理全生命周期都纳入调整范围,每一个数据处理环节都应当保障数据的安全状态”,同时鼓励数据依法有序自由流动和合理有效开发利用,促进人形机器人产业发展,提升公共服务的智能化水平,体现的是统筹发展和安全两大价值、包含“消极防御+积极利用”双重内涵、动态平衡的数据安全法益观。不同于数据控制安全着重禁止泄露、窃取、篡改、毁损(包括删除、增加、丢失等)数据等行为,数据利用安全则重在防范数据滥用行为,即确保数据大规模流动、关联、聚合、挖掘、分析、使用过程中安全风险的可控性。所谓“可控性”应界定为在充分释放和实现数据要素价值的同时,将不确定性的潜在不利影响降至最低,总体上把数据安全风险控制在公众可接受的水平。就人形机器人的研发与应用而言,必须以安全、可控、无害的方式利用具身智能数据,有关部门新近出台的相关规范性文件对保障数据利用安全予以明确回应。例如,《网络数据安全管理条例(征求意见稿)》要求数据处理者保障数据免遭非法使用,防范利用数据的违法犯罪活动;《关于加强新时代检察机关网络法治工作的意见》要求各级检察机关聚焦维护数据安全,依法严惩非法利用数据的相关犯罪;《工业和信息化领域数据安全管理办法(试行)》要求工业和信息化领域数据处理者利用数据进行自动化决策的,应当保证决策的透明度和结果公平合理;《互联网信息服务深度合成管理规定》要求任何组织和个人不得利用深度合成服务制作、复制、发布、传播违法信息,同时要求深度合成服务提供者和技术支持者采取必要措施保障训练数据安全;《生成式人工智能服务管理暂行办法》规定不得使用生成式人工智能服务生成淫秽色情、虚假言论等有害信息,不得侵害他人肖像权、名誉权、隐私权和个人信息权益。

综上所述,人形机器人在研发与应用过程中面临数据控制安全风险和数据利用安全风险。双重数据安全风险是内外两个方面共同作用的结果:一方面,具身智能数据自身可能遭受来自外部不法分子的窃取、篡改、毁损;另一方面,具身智能服务提供者及其内部工作人员在开展数据处理活动时,可能怠于履行数据安全保护义务,因管理制度不健全或者技术防护措施缺失,导致具身智能数据泄露或者滥用。外部侵害与内部失职双重因素叠加造成具身智能数据安全风险无限放大,甚至转化为危害后果严重的数据安全事件。

三、具身智能数据安全风险刑法分类分级治理机制

网络数据与人工智能技术不可分离的特性决定了数据安全法律制度的主要目标之一,就是规范和引导人工智能技术研发与应用过程中的数据处理活动。面对人工智能技术革新发展与广泛应用所带来的无可避免的具身智能数据安全风险,“与规制工具主义相伴随的风险管理思维倾向于事前预防,而非事后矫正”,传统数据刑事治理范式可能需要革新乃至重置,一种旨在控制不可预测后果的、预防性的刑法分类分级治理机制被认为是必要的。这有助于积极防范和有效化解人形机器人研发与应用过程中的数据控制安全风险和数据利用安全风险,同时在合规流通使用中激活数据要素潜能、释放数据要素价值,推动开放环境、泛化场景、连续任务等复杂条件下具身智能系统的感知、识别、认知、交互、决策技术取得突破。

(一)具身智能数据安全分类分级保护策略

数字化是智能化的前提,“数字化是一种将任意信息转化为0和1的序列、并由计算机加以存储和处理的能力”,而网络数据正是以电子方式对信息的描述和记录,不同的数据所来源之行业、描述之对象、记录之内容、承载之利益有所差异。通过数据分类分级实现数据精细化管理、提高数据保护实效,是开展数据安全治理的起始点。数据安全法第21条明确规定,国家建立数据分类分级保护制度,对数据实行分类分级保护。此后,有关部门出台的《网络数据安全管理条例(征求意见稿)》《工业和信息化领域数据安全管理办法(试行)》《汽车数据安全管理若干规定(试行)》等数据安全法规均将落实数据分类分级保护作为重点内容在本领域予以细化。2021年全国信息安全标准化技术委员会秘书处发布的《网络安全标准实践指南——网络数据分类分级指引》,进一步完善了网络数据分类分级的原则、框架和方法。

所谓数据分类,是按照数据的内容、来源、特征、作用等属性,将具有相同属性的数据归为同一类别,其主要目的是便于数据管理和使用。一般先按照行业领域、再按照业务属性的思路进行数据分类。从数据描述对象角度,可以将具身智能数据分为用户数据、模型训练数据、业务服务数据、系统运行数据。根据数据内容是否能够单独或者与其他信息结合识别特定自然人身份或者反映特定自然人活动情况,可以将上述数据区分为个人信息与非个人信息,“把数据划分个人信息和非个人信息的法律意义在于,个人信息是人格权的客体;而非个人信息与人格权无关,但可能涉及国家安全和经济秩序等诸多其他权益,因此两者在法律提供的保护模式方面有着明显的不同”。在刑法中,将非法获取计算机信息系统数据罪、破坏计算机信息系统罪的行为对象(不具有可识别性的一般数据)和侵犯公民个人信息罪的行为对象(具有可识别性的个人数据)予以区分,体现了数据内容分类保护思路。

所谓数据分级,是按照数据所承载的法益大小以及其一旦被非法处理可能导致的法益损害后果之大小,从利益安全的角度对数据的重要性进行的层级划分。一般以定量与定性相结合的方式,首先识别数据分级要素情况,然后开展数据影响分析,确定数据一旦遭到泄露、窃取、篡改、毁损、滥用,可能影响的对象和影响程度,最终综合确定数据的安全级别。数据安全法提出以数据本身的“重要程度”和遭到不法侵害后对国家安全、经济运行、社会稳定、公共利益或者个人、组织合法权益的“危害程度”为标准对数据进行分级。《网络数据安全管理条例(征求意见稿)》和《工业和信息化领域数据安全管理办法(试行)》依据该标准将数据级别从低到高分为一般数据、重要数据、核心数据三个等级,要求针对不同级别的数据采取不同的保护措施。《网络数据安全管理条例(征求意见稿)》第73条将“重要数据”界定为“一旦遭到篡改、破坏、泄露或者非法获取、非法利用,可能危害国家安全、公共利益的数据”。根据行业领域、业务属性、应用场景等因素综合考量,具身智能数据总体上属于工业和信息化领域数据的范畴。《工业和信息化领域数据安全管理办法(试行)》第10条明确将“对政治、国土、军事、经济、文化、社会、科技、电磁、网络、生态、资源、核安全等构成威胁,影响人工智能等与国家安全相关的重点领域的数据”纳入工业和信息化领域重要数据目录。

综上所述,数据分类和数据分级实际上是在不同维度、按照不同标准对数据所作的划分:数据分类是坐标轴横向上的划分,按照同一标准划分后的不同类型数据具有相对平等的关系;而数据分级是坐标轴纵向上的划分,基于数据被非法处理后的后果严重程度,不同级别数据具有不同的重要性和保护需求。两者相辅相成,数据分类为数据分级管理奠定基础,相互结合才能对具身智能数据安全风险进行准确识别,进而合理配置司法保护资源,采取恰当的安全防护措施,提高具身智能数据安全保障水平和效能。

在数据分类分级保护制度下,个人信息与重要数据是两个没有属种关系或者交叉关系的不同概念,全国信息安全标准化技术委员会发布的国家标准《信息安全技术网络数据处理安全要求》(GB/T41479—2022)规定,重要规则数据原则上不包括个人信息、企业内部经营管理信息等,《数据安全技术数据分类分级规则》(GB/T43697—2024)也指出,仅影响组织自身或者公民个体的数据一般不作为重要数据,因此个人信息安全有别于重要数据安全。个人信息与重要数据是具身智能数据中应用价值最高的“精华”部分,一旦遭到泄露、窃取、篡改、毁损、滥用,将严重危害国家安全、公共利益或者个人、组织合法权益。对此,《网络数据安全管理条例(征求意见稿)》要求“国家对个人信息和重要数据进行重点保护”,科技部、工业和信息化部等六部委联合印发的《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》(国科发规〔2022〕199号)提出加强人工智能“数据底座”的安全保护,特别是对个人信息、行业重要数据等依法予以重点保护。刑法作为维护具身智能数据安全的最后“保障法”,理应建立健全具身智能数据安全风险刑法分类分级治理机制,重点防范和管控人形机器人研发与应用过程中的个人信息安全风险和重要数据安全风险。

(二)具身智能领域个人信息安全风险的刑法全流程管控

数据安全存在的意义是保证数据在采集、传输、存储、交换、使用、销毁等全流程或者全生命周期得到妥善保护,最终实现价值变现并促进人工智能技术进步和数字经济健康持续发展。数据安全法要求“开展数据处理活动应当依照法律、法规的规定,建立健全全流程数据安全管理制度”;《工业和信息化领域数据安全管理办法(试行)》专设第三章“数据全生命周期安全管理”,要求“建立数据全生命周期安全管理制度”,确保数据持续处于有效保护和合法利用的状态。为贯彻落实党的二十大关于强化数据安全保障体系建设的战略部署,中共中央、国务院印发的《数据二十条》统筹发展和安全,坚持促进数据开发利用与保障数据安全并重的原则,要求把安全贯穿数据供给、流通、使用全过程;《国民经济和社会发展第十四个五年规划和2035年远景目标纲要》提出,要强化数据资源全生命周期安全保护。从数据全生命周期的角度来审视人形机器人研发与应用过程中可能滋生的个人信息安全风险,主要包括上游的个人信息泄露或者窃取风险、中游的个人信息篡改或者毁损风险、下游的个人信息滥用风险。侵犯个人信息犯罪侵害的法益是个人信息自决权,主要涉及三个方面的内容:一是个人信息不被不正当收集、采集的权利;二是个人信息不被泄露、扩散的权利;三是个人信息不被篡改、毁损、滥用的权利。刑法第253条之一着眼于保护个人信息转移自主,仅规制非法获取、出售、提供个人信息等三种行为方式。从数据控制安全的角度来看,过失泄漏个人信息行为和非法篡改、毁损个人信息行为被排除在外;从数据利用安全的角度来看,“合法获取、不当滥用”个人信息问题受到忽视,滥用个人信息行为尚未被纳入侵犯公民个人信息罪的罪状。刑法在规制侵犯个人信息犯罪方面存在明显缺陷,有必要及时回应人工智能时代侵害公民个人信息权益的新行为类型,进一步严密法网、堵截漏洞,全流程管控具身智能领域个人信息安全风险。

第一,增设过失泄漏公民个人信息罪。具身智能服务提供者在人形机器人的研发与应用过程中采集和控制了大量个人信息,扮演着个人信息“守门人”的重要角色,承担法律赋予个人信息处理者的数据安全保障义务。目前刑法规定的侵犯公民个人信息罪属于故意犯罪,要求行为人主观方面必须是故意而非过失,处罚的是个人信息处理者故意泄露个人信息的行为,即违反国家有关规定,将在履行职责或者提供服务过程中获得的个人信息,出售、提供给他人或者与他人进行交换。对于因系统漏洞、操作不当、管理疏忽等过失行为导致的较大规模个人信息泄露事件,其造成的隐私侵犯、身份盗用、金融欺诈等客观危害后果的严重程度甚至不亚于故意泄露个人信息行为,刑法对此却缺乏规制,存在明显的处罚漏洞。如果不处罚过失泄漏个人信息行为,那么享受个人信息带来的丰厚利益且实际控制个人信息的具身智能服务提供者将不承担任何个人信息泄漏风险,完全由无法现实掌控自身个人信息的普通公民来承担个人信息泄漏风险,这显然是权责失衡且有失公平的。因此,有必要在刑法第253条之一第2款之后增加一款:过失犯前款罪,情节严重的,处一年以下有期徒刑或者拘役。通过增设过失泄漏公民个人信息罪,不但可以弥补侵犯个人信息行为的处罚漏洞,还有助于强化具身智能服务提供者的个人信息安全风险防控意识。

第二,将非法篡改、毁损个人信息行为犯罪化。个人信息既是训练人形机器人感知、认知、决策、运动等仿生能力不可或缺的要素,也是实现人、网络、人形机器人之间相互连接和贯通的关键媒介。为干扰或者操控人形机器人的正常运行,不法分子可能会采用提取攻击、数据投毒等方式篡改、毁损训练数据中的个人信息,以引入可能损害AI大模型安全性、有效性的漏洞、后门或者偏见等,影响AI大模型输出正确预测结果的能力。不同于泄露或者窃取个人信息侵害的是数据的保密性,即由“知悉状态”所设置的“保密状态”,非法篡改、毁损个人信息侵害的则是数据的完整性和可用性,使得个人信息丧失最核心的识别作用,极易诱发具身智能系统认知与决策偏差。无论是泄露、窃取个人信息,还是篡改、毁损个人信息,都侵犯了数据控制安全法益,但目前刑法仅将故意泄露或者窃取个人信息行为犯罪化,侧重于从数据流通链条的上游防范数据安全风险。“现阶段的技术局限导致大型自然语言处理模型应对训练数据提取攻击、数据投毒等数据攻击活动的稳定性不足”,个人信息篡改或者毁损风险加剧,要求人工智能领域法律规范必须强化数据全生命周期安全管理。例如,在域外立法中,欧盟人工智能法案规定人工智能系统必须在数据的整个生命周期内保障隐私权和个人数据受保护的权利。聚焦建立健全数据全生命周期安全管理制度,我国刑事立法应修改侵犯公民个人信息罪的罪状,将非法篡改、毁损个人信息行为也入罪规制。

第三,将滥用个人信息行为纳入侵犯公民个人信息罪的构成要件。在具身智能应用场景下,人形机器人通过个人信息了解用户需求并定制个性化服务。具身智能服务提供者获取个人信息的方式往往是合法的,大量不同来源的个人信息汇聚形成一个大数据集合,“在整合数据的基础上,可以作出新的推断:数据的组合可以‘创建’关于个人的新数据。”然而,预测模型和自主学习算法在分析处理个人信息时可能超出预先确定的特定目的,违规利用已有的个人信息分析出用户不曾且不愿意透露的个人信息或者生成虚假的个人信息,个性化服务也可能变成有意的强迫、说服或者操纵,将个人自治置于危险境地,公民的个人信息自决权在日积月累中不断减损。“合法获取、不当滥用”个人信息的治理困境在人工智能时代愈发凸显。通常而言,个人信息泄露或者窃取行为并不会直接侵害个人信息之上承载的人格利益,而是造成紧迫的法益侵害危险,只有在个人信息被不当滥用的情况下,才会将这种法益侵害危险现实化为具体的人身权益或者财产权益损害结果。相较于非法获取个人信息行为仅是制造了法益侵害危险,滥用个人信息行为的法益侵害更具根源性、直接性和严重性,因而刑法将其纳入侵犯公民个人信息罪的规制范围毫无疑问是必要且紧迫的。

(三)具身智能领域重要数据安全风险的刑法高强度防范

随着与通用大模型深度融合的具身智能技术日渐成熟,人形机器人的应用场景日益丰富。例如,在恶劣条件、复杂地形等特殊环境进行高危险、高精度作业;在3C产品、自动驾驶汽车等智能制造业工厂的流水线上完成装配、转运、检测、维护等工序;在教育、医疗、家政、物流、交通等国计民生领域提供便捷的公共服务,等等。人形机器人产业是培育发展新质生产力的中坚力量,2024年1月22日国务院常务会议研究部署推动人工智能赋能新型工业化有关工作时强调:“以人工智能和制造业深度融合为主线,以智能制造为主攻方向,以场景应用为牵引,加快重点行业智能升级,大力发展智能产品,高水平赋能工业制造体系,加快形成新质生产力,为制造强国、网络强国和数字中国建设提供有力支撑。”具身智能领域达到一定规模和精度且对国家安全、经济竞争实力具有直接影响的研发数据、生产运行数据、管理数据、运维数据、业务服务数据无疑属于重要数据的范畴,其所承载的是关系经济社会平稳运行、尖端科技创新及重大民生福祉的国家安全和公共利益,高强度严密防范重要数据被泄露、窃取、篡改、毁损、滥用的风险成为全社会的共识。数据安全法以及《网络数据安全管理条例(征求意见稿)》《工业和信息化领域数据安全管理办法(试行)》《汽车数据安全管理若干规定(试行)》等前置法均遵循“重要数据重点保护”的数据分级保护理念,将立法重心放在加强对重要数据的保护上。例如,《网络数据安全管理条例(征求意见稿)》设立“重要数据安全”专章,赋予重要数据的处理者比一般数据的处理者更为严格的数据安全保护义务。刑法也应当引入前置法确立的数据分级保护制度,通过调整危害重要数据安全犯罪的罪名体系和入罪标准,对具身智能领域的重要数据给予重点保护。

其一,在罪名设置方面,增设非法持有重要数据罪和非法出售、提供重要数据罪。影响国家安全、经济发展、社会稳定、公共利益的重要数据,并非任何组织或者个人都可以持有,必须由特定的机构和人员负责管理。如果某一主体未经授权或者不具有相应资质、管理制度、技术条件而违规持有重要数据,潜藏着极大的数据安全风险,极易引发后果严重的数据安全事件。刑法中持有型犯罪的行为对象主要包括两类:一是违禁物品或者管制物品,如枪支、弹药、爆炸物、毒品、假币、伪造的发票以及宣扬恐怖主义、极端主义的图书、音频视频资料等;二是专属物品,如他人信用卡,国家绝密、机密文件、资料、物品等。重要数据的持有权专属于法律、法规授权的组织或者个人,将非法持有重要数据行为纳入刑法规制范围,意在保护重要数据不被没有持有权利的人控制和支配,降低重要数据遭受不法侵害的风险。持有重要数据在数据犯罪黑色产业链条中发挥着承上启下的关键作用,一方面,非法持有重要数据是上游非法获取重要数据的结果状态,当实践中难以查证窃取重要数据行为构成非法获取计算机信息系统数据罪时,“持有型犯罪的设立则可将目光从证明特定物品的来源转向更易证明的持有特定物品的现状,从而降低控方的证明难度以保证追诉的成功”,非法持有重要数据罪可以作为危害重要数据安全犯罪的兜底性罪名,起到事后堵截漏洞的作用。另一方面,非法持有重要数据又是下游非法出售、提供重要数据的预备行为,展现出为后续关联犯罪创造条件的预备犯特点,采取预备行为实行化(实质预备犯)的立法模式设立具有预防性犯罪化特征的非法持有重要数据罪,可以起到事前防范风险的作用,实现重大法益的前置化保护。此外,面向一国主权领域内收集和产生的重要数据通常处于相对保密的状态,不为一般公众所知悉或者未经合法公开。然而,全球化背景下人形机器人的研发与应用早已突破疆域国界的限制,具身智能产品和服务在全世界范围内互联互通,具身智能领域重要数据的跨境流通是必然结果且日益频繁。2022年国家互联网信息办公室发布的《数据出境安全评估办法》明确要求数据处理者向境外提供重要数据应当通过所在地省级网信部门向国家网信部门申报数据出境安全评估,只有通过国家网信部门组织的数据出境安全评估后方可向境外传输。如果数据处理者未申报或者未通过数据出境安全评估,擅自非法出售、提供重要数据将造成重要数据的泄露,必然严重危害国家安全和公共利益。着眼于通过行刑衔接强化重要数据安全保护,有必要在刑法中增设非法出售、提供重要数据罪,与非法持有重要数据罪以及非法获取计算机信息系统数据罪(刑法第285第2款)、破坏计算机信息系统罪(刑法286条第2款),共同构成完整周延的危害重要数据安全犯罪刑法规制体系。

其二,在罪量评价方面,调适侵害重要数据行为的入罪标准。数据犯罪侵害的法益是数据安全,法益侵害的严重程度在不同安全级别的具身智能数据上有所差异。例如,非法获取、破坏一般数据,对具身智能系统运行的影响较小,受影响的用户数量也较少,造成的直接经济损失较少,恢复数据或者消除负面影响所需付出的代价较小,而一旦非法获取、破坏的是重要数据,可能严重影响人形机器人产业的发展,造成的直接经济损失巨大,甚至损害国家安全和公共利益,恢复数据或者消除负面影响所需付出的代价较大。因此,侵害重要数据行为理应受到刑法更重的处罚,对此可在危害重要数据安全犯罪入罪标准的设置上予以体现,“定量标准的实体要求是足以反映行为的社会危害性或者说法益侵害性和主观恶性”。2017年最高人民法院、最高人民检察院《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》吸纳“领域理论”的合理内涵,认为“不同领域的个人信息在侵犯公民个人信息罪构成要件符合性判断中具有不同的意义”,进而根据信息内容与特定自然人关联的紧密程度,将个人信息从高到低依次划分为私密个人信息、敏感个人信息、一般个人信息三个安全级别,在数量上分别设置了50条、500条、5000条三档入罪标准。未来在修订《关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》时可以借鉴这一经验,在解释非法获取计算机信息系统数据“情节严重”、破坏计算机信息系统数据“后果严重”时引入数据分级保护规则。根据具身智能数据的安全等级适配差异化、层次性的入罪标准:对于重要数据和核心数据配置较低的数量标准,对于一般数据则配置较高的数量标准,并形成合理的倍数梯度关系,真正实现具身智能数据安全刑法分级保护“重其所重,轻其所轻”,将宽严相济的刑事政策和罪刑均衡原则贯彻落实到危害重要数据安全犯罪的司法认定与刑罚裁量之中。

四、具身智能数据安全风险的责任主体与归责原理

人形机器人的智能性、机动性越强,就越能够更好地探索适应新环境,不断拓展应用场景,在凭借深度学习训练的AI大模型自主作出决策和行动的过程中,可能因智能系统漏洞或者算法设计缺陷发生数据泄露、滥用等重大数据安全事件。例如,2023年3月,OpenAI公司证实ChatGPT遭遇了一次用户数据泄露事件。该事件由Redis客户端开源库中的一个漏洞引发,导致ChatGPT用户可以在自己的历史对话或者订阅页面中看到其他用户的聊天记录、姓名、电子邮件地址、账单地址、信用卡号码的最后四位数和信用卡到期日等个人信息。那么谁来为人形机器人自主运行过程中发生的数据安全事件负责?“一些人认为,机器人对其行为负有刑事责任是恰当”,但是目前人形机器人尚不具备承担法律责任的主体资格,因数据安全事件而从道德或者法律上对人形机器人进行归责是没有意义的,“无论何种情境下都应先验地排除由自主机器系统自己为其所造成的损害承担责任的可能”,而应当以研发、设计、制造人形机器人的具身智能服务提供者作为防范和化解数据安全风险的第一责任主体。有必要通过追究具身智能服务提供者怠于履行数据安全保护义务的刑事责任的方式,引导和督促其切实履行数据安全保障职责,全面提升态势感知能力、事件识别能力、安全防护能力、风险控制能力和应急处置能力,确保具身智能数据持续处于有效保护和合法利用的状态。

(一)具身智能服务提供者居于数据安全保证人地位及其作为义务

具身智能服务提供者作为算法的研发设计和部署应用主体,利用嵌入人形机器人运行的算法权力掌握着“代码世界的规则”,扮演着数据处理者的关键角色,决定了数据在生命周期内的价值实现。“将数据处理者的某一不作为行为入罪施加刑事责任,必须阐释其居于保证人地位以及承担作为义务的实质根据”。保证人地位是不真正不作为犯的核心构成要件要素,“在确定控制风险发展流程的主体、规范保护目的时,有必要考察保证人地位”。只有当违反命令规范的行为人对于危害结果的发生处于保证人地位时,才可能构成不作为犯罪。基于从源头防范具身智能数据安全风险的治理逻辑,应从学理上阐释赋予具身智能服务提供者数据安全保证人地位及其承担数据安全保护义务的正当性。

所谓保证人地位,是指“基于一定的特别义务地位‘在法律上负有使得构成要件性结果不产生的责任’”,即保证人负有危害结果避免义务(保证人义务)。就具身智能服务提供者而言,如果证立其处于数据安全保证人地位,那么就负有积极采取措施防止发生数据泄露、滥用等数据安全事件的作为义务,这里的作为义务就是数据安全保护义务。“支配与依赖性是产生保证人义务的基础”,根据功能的不同可以将保证人区分为两种类型:保护型保证人与监督型保证人,前者对于应被保护的法益负有特别的责任(法益保护义务),体现为对法益脆弱性的支配;后者则有责任防止他人的法益被一个应被监督的危险源所损害(危险源监督义务),体现为对危险源的支配。保证人地位旨在使因不作为引起构成要件结果与因作为引起构成要件结果在该当性上能同等看待。因此,要论证保证人作为义务的成立,必须从不真正不作为与积极作为在规范上的同等性出发加以考虑,分析行为人是否支配了导致法益侵害结果的原因,“对于具备了‘结果原因的支配’的不作为来说,就能因此肯定其保证人的地位,从而肯定作为义务”。

算法自动化决策长久以来最为人诟病的就是不透明性,这也是以深度学习为代表的人工智能算法为何被称作“黑箱”的原因。“算法黑箱”的存在决定了人工智能行为的不可解释性和难以预测性,一定程度上掩盖了数据安全法益遭受侵害时的“结果原因的支配”,即究竟是具身智能服务提供者的不作为支配了数据安全事件发生的因果流程,还是具备自主学习、自我进化能力的人工智能算法基于机器决策控制了数据安全风险现实化的过程?这将直接影响对具身智能服务提供者是否居于数据安全保证人地位的判断。“复杂社会系统中的秩序必须依赖于处分权人所管理的特定空间和特定控制领域的安全”,对于人形机器人根据算法自主开展的数据处理活动,“人类监督还是有其必要性的,毕竟自然人是真实存在的责任主体,能够履行职责并为最终决策负责,受该决策影响的个体也可以对其提出诉求”。具身智能服务提供者具备明显专业技术优势,在数据处理活动中自主决定数据处理目的和处理方式,实际控制着具身智能数据的来源与去向,对于可能引起数据安全事件的具身智能系统漏洞、缺陷等风险,有能力在第一时间进行感知、识别、监测、预警、补救和处置,从源头防范和化解具身智能数据安全风险。具身智能服务提供者的不作为是数据安全风险现实化为危害后果严重的数据安全事件的决定性因素,具备了对“结果原因的支配”,从而可以推导出具身智能服务提供者居于数据安全保证人地位,负有积极采取措施防止发生数据泄露、滥用等数据安全事件的作为义务。

“所有的结果避免义务均是建立在这样的基本思想之上的,即特定之人以特殊的方法被要求保护受到危险的法益,所有其他参与人均相信和可以相信该人的避免结果发生的积极的行为。”保障具身智能数据安全,强烈依赖于具身智能服务提供者在开展数据处理活动中实施的特定行为,并且受到全社会的普遍期待和高度信赖。例如,明确数据安全负责人,成立数据安全管理机构,制定实施数据安全管理制度;采购安全可信的网络产品和服务,升级数据安全防护技术措施;定期组织开展数据安全宣传教育培训、风险评估、应急演练,并向有关主管部门报送年度数据安全评估报告;加强数据安全风险监测,采取补救措施消除数据安全缺陷、漏洞;建立便捷的数据安全投诉、举报渠道,及时受理处置数据安全投诉、举报;发生数据安全事件时及时启动应急响应机制,采取措施防止危害扩大。《生成式人工智能服务管理暂行办法》、欧盟人工智能法案等国内外人工智能立法都立足于构建一套以人工智能服务提供者作为义务为中心的人工智能数据安全保障体系。如果具身智能服务提供者怠于履行数据安全保护义务,明知存在管理机制不健全、技术防护能力不达标、人员教育培训不到位、风险监测预警不及时、应急处置措施不规范等数据安全隐患而不消除,致使发生用户信息泄露等重大数据安全事件,造成严重危害后果的,可能构成刑法第286条之一拒不履行信息网络安全管理义务罪,承担不作为刑事责任。

(二)具身智能服务提供者怠于履行数据安全保护义务的归责判断

具身智能数据安全风险现实化的过程为:具身智能数据安全风险产生→具身智能服务提供者因不作为而未消除数据安全风险→导致数据安全事件发生。刑法处罚不作为犯,“实质根据在于对行为人所承担的社会角色和规范义务的违反,其不法内涵是通过特定的不履行积极行为义务表现出来的”。判断具身智能服务提供者怠于履行数据安全保护义务的不作为行为的刑事可罚性,“所要回答的是:在什么样的前提条件下要把结果归责于行为人所实施的行为,即行为人—行为—结果在客观不法上的联系”,主要涉及分别检验作为可能性和结果回避可能性两个步骤,从而合理确定具身智能服务提供者承担不作为刑事责任的边界。

1.作为可能性判断

探究具身智能服务提供者因不作为被追究刑事责任的根据,“核心问题通常是,未采取可期待的技术(安全防护)措施的可责性”。但法律不能强人所难,“在不作为语境中,为判断被告对结果事件是否有责任,人们通常会判断被告是否有能力保护特定人及实施特定行为”。因此,在判断能否将数据安全事件的发生归属于具身智能服务提供者的不作为时,首先要考察作为可能性,即具身智能服务提供者是否具有履行数据安全保护义务的能力。即便认可了具身智能服务提供者的数据安全保证人地位,在欠缺作为可能性的场合,也不成立不作为犯,“处罚没有作为可能性的场合无论如何都是难以想象的”。换言之,只有当居于数据安全保证人地位的具身智能服务提供者具有作为可能性,却怠于履行数据安全保护义务时,才应对数据安全事件承担相应的不作为责任。

作为可能性的判断并非纯粹根据作为义务的形式来源判断保证人是否履行了作为义务,而是实质判断保证人能否采取保护法益的有效措施,对此应当以社会的一般观念为标准,从保证人履行作为义务的客观条件与个人能力两个方面进行判断。一方面,“履行作为义务的难易程度,表明了法益保护的难易程度”,泛在化、复杂化的数据安全风险使得具身智能数据安全极为脆弱,管理和技术措施的风险防范效果有限,而且具身智能数据的即时扩散性、快速流动性、无限复制性使得一旦发生数据安全事件,采取处置措施有效防止危害扩大的难度也较高,所以判断具身智能服务提供者是否具有作为可能性应先对数据安全风险等级以及数据安全事件处置难度等客观条件进行评估。另一方面,“履行义务不能超出行为人的能力范围,这是能力原则的基本要求”,不能要求具身智能服务提供者承担超出其作为能力的数据安全保护义务,应基于比例原则考量具身智能服务提供者实施特定作为义务所花费的成本,不能期待具身智能服务提供者不计成本地采取数据安全防护措施,就像不能要求行为人冒着自身生命危险去履行救助义务一样,社会期待具身智能服务提供者实施特定作为行为应具有合理性和必要性,即正常情况下足以防止数据安全事件的发生或者危害扩大,并且不会给具身智能服务提供者造成不成比例的损害的措施。

2.结果回避可能性判断

与作为犯一样,成立不作为犯同样需要确认不作为与危害结果之间存在因果关联,“刑法上因果关系概念的目的在于确立行为人对于危害结果发生的避免(控制)可能性,并且从此建立刑罚的正当性基础”。相较于作为,不作为本身欠缺导致结果发生的物理性原因力,不作为的原因力着眼于未避免、不阻止、容忍结果发生,因此不作为犯中的因果关系缺乏实存的自然因果流程参照,不具有自然科学意义上可体察的物理性因果联结,而是基于假设情形之判断逻辑而拟制形成的因果联结,被称为“假设的因果关系”或者“准因果关系”。不作为并非什么都不做,而是可以理解为没有实施社会所期待的合义务行为,在肯定具身智能服务提供者具有履行数据安全保护义务的能力后,接下来需要判断假设具身智能服务提供者实施了符合数据安全保护义务的行为,要在多大程度或者概率上能够避免数据安全事件的发生,即判断合义务替代行为的结果回避可能性。“风险降低理论”认为,只要合义务替代行为降低了法益侵害风险,有一丝希望(无论1%还是100%)避免危害结果发生就足够了。“确定能够避免说”则认为,合义务替代行为必须能够以确定或者“十有八九”接近确定的极大概率防止危害结果的发生。“风险降低理论想在那些行为人通过合法举止是否可以避免这一结果存疑的案件中进行结果归属,这会将结果犯解释为危险犯”,不符合存疑有利于被告人的原则。因此,只有当具身智能服务提供者的合义务替代行为使数据安全事件不发生具有确定或者接近确定的高度可能性时,才能将数据安全事件的发生归属于具身智能服务提供者的不作为。在这种情况下,义务违反已不再仅仅具有单纯的危险性,而是明显具备了朝结果方向发展的压倒性趋势,就可以将危害结果看成是义务违反合乎事物发展规律的产物。

反之,倘若即使具身智能服务提供者实施了符合数据安全保护义务的行为,如在数据处理活动中采取相应的管理和技术措施防范数据泄露、毁损等风险,客观上仍不足以确定或者接近确定的程度避免数据安全事件的发生,那么在该场合下,便不具有结果回避可能性,义务违反与结果发生之间也就欠缺规范意义上现实的风险关联,不能将数据安全事件的发生归属于具身智能服务提供者的不作为。诚如有学者所言:“如果行为人去做我们所期待的行为,并不会影响该当结果的发生,那么如此的作为并没有意义。”

结语

具身智能是人工智能技术演进发展与创新应用的新方向,不断进化的人形机器人将理解真实世界的运行规律,走进生产生活和千家万户,在丰富多元的应用场景下彻底“解放”人类的四肢,成为赋能新型工业化、培育新质生产力的“新物种”。与此同时,人形机器人研发与应用过程中衍生的数据安全风险也受到全社会的普遍关注,日益严峻的具身智能数据安全态势时时向法律规范提出新的挑战。“法学家所面临的挑战不仅是对广泛存在的而且是计划中的技术进行法律评价,并且及早地说明可能存在的违法,以便于技术发展中进行修正。”国务院印发的《“十四五”数字经济发展规划》(国发〔2021〕29号)将“提升数据安全保障水平”作为“着力强化数字经济安全体系”的重要环节,要求建立健全数据安全治理体系,推动数据处理者落实数据安全保护责任。工业和信息化部印发的《工业领域数据安全能力提升实施方案(2024-2026年)》(工信部网安〔2024〕34号)进一步强调完善工业领域数据安全保障体系,加快提升工业领域数据安全保护能力,夯实新型工业化发展的安全基石。刑法作为数据安全治理的重要手段,必须适应人工智能具身化发展的新动向,创新具身智能数据刑事治理模式,完善我国数据犯罪立法规范和司法认定。一方面,通过引入数据分类分级治理机制,有效应对针对具身智能数据的不法侵害,重点防范和管控具身智能领域的个人信息安全风险和重要数据安全风险。另一方面,通过追究具身智能服务提供者怠于履行数据安全保护义务的不作为刑事责任,督促和引导其切实履行作为数据安全保证人的职责,从源头避免数据安全事件的发生或者危害扩大,确保具身智能数据持续处于有效保护和合法利用的状态。

(本文来源于《东方法学》2024年第3期)

专题统筹:秦前松

版权声明:凡标注来源为中国实践的文章、图片、视频等内容均为本网原创、作者来稿。凡本网注明“来源:XXX(非中国实践网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。转载本网文章请注明“来源:中国实践网”。如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。

底部g1

登录

📱
请输入您的手机号码。
🗝️
频道合作

申请城市频道

欢迎申请开通城市频道,即享千万流量分享传递党的声音,展示党建成果。

了解详情

中实网——中国实践智库官方融媒矩阵主网站

北京市朝阳区金台西路二号院

联系电话:

电子信箱:879602319@qq.com