党的二十届三中全会明确提出要“完善生成式人工智能发展和管理机制”“建立人工智能安全监管制度”“提升数据安全治理监管能力”。如何在法治轨道上加强人工智能治理，构建以人为本、智能向善的治理框架，以良法善治保障人工智能健康发展？
近日，徐汇区检察院青工支委、团总支联合人工智能综合履职团队召开“青锋智汇·青年对话”活动，围绕“生成式人工智能视域下的数据安全风险与治理”主题开展交流研讨。上海交通大学智慧司法研究院、上海政法学院人工智能法学院青年学者，徐汇区委网信办、区数据局青年干部受邀出席。
主题分享环节，与会青年代表聚焦研讨主题，结合本职工作与研究方向，从“数据安全风险与治理路径”“数据安全风险与行政监管路径”“公共数据开放共享与安全治理”等多个视角开展了交流分享。
王剑冰 徐汇区检察院人工智能综合履职团队：
人工智能以海量数据为基础，运用大算力、强算法实现运算和内容的自动生成。数据是新时代的石油。生成式AI在带来诸多便利与创新的同时，也产生了数据安全风险，比如数据输入、存储、运算、输出各环节可能涉及的非法抓取、不当泄露、恶意裁剪、虚假内容等问题，可能损害国家安全、公共利益或者公民、组织合法权益。新时代总体国家安全观下，我国已形成了以《数据安全法》《网络安全法》《个人信息保护法》为主要构架的数据安全法律体系。面对复杂的数据安全风险，需要进一步加强理念转变和智能迭代，凝聚司法机关、行政部门监管合力，加强行政执法与刑事司法双向衔接，形成人工智能领域的规则之治。同时，进一步发挥科研机构、行业组织、企业、个人等主体在规制网络中的作用，共同实现人工智能数据安全领域的敏捷治理。
王佳禾 徐汇区委网信办网络安全科：
在人工智能技术应用中，数据安全面临三大风险：一是威胁的多样性和复杂性，包括新型网络攻击、深度伪造技术等；二是数据隐私问题，涉及算法泄露和数据滥用风险；三是模型的稳定性和可靠性问题，包括训练数据偏见和政策法规变化对模型输出的影响。因此，系统地识别、防范和化解安全风险，是做好网络安全和数据安全工作的重点。首先，应聚焦顶层制度设计、政策法规完善以及行业评估标准的构建和指导。其次，需加强技术防护能力的建设，采用“政府监管+企业自律+公众参与”的模式，推动关键行业的安全标准互认和信息共享，统筹技术力量，制定联动机制。最后，面向不同主体，丰富多元工作模式，系统性地规划跨部门合作和教育培训，促进协同治理。
王骏 徐汇区数据局数据发展科：
近年来，随着政府信息化程度的提高，公共数据在便利民众办事、城市运行治理以及优化营商环境等方面发挥重要作用。但是，公共数据的社会化利用尚有提升空间，亟须破解应用场景少、政企数据融合难等问题，并进一步保证数据流通安全、充分释放数据价值，促进行业发展。为此，徐汇区做了许多探索与创新。以徐汇区数据创新实验室为例，作为数据融合创新的孵化器，实验室发挥着“供需拉通、场景共创、沙盒验证”技术试验田的作用，并针对公共数据开发和利用中存在的问题，开展了一系列体制机制的创新。如打通市区两级公共资源共享、吸引企业参与探索公共数据在创新场景的应用、探索数据流通沙盒监管机制等。目前，徐汇区数据局与司法、建筑、互联网头部企业等多方开展合作，探索从数据资源集聚向产品孵化和生态联动转变，旨在共建健康的数据产业生态系统。
问题讨论环节，与会青年围绕“数据主体采集权的力度与限度”“算法‘黑箱’的法律规制路径”“算法数据滥用中的检察公益诉讼履职空间”“跨境数据流动的潜在风险与规制路径”等四方面议题展开了充分讨论。
陈朝铭 徐汇区检察院人工智能综合履职团队：
当前，基于数据日渐呈现出的要素化、财产属性化、使用规模化等特征，检察机关需要合理界定数据采集的力度与限度，以平衡数据安全和人工智能产业发展。一般而言，讨论数据采集合法性的关键前提是关注数据确权问题，根据《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》精神，法律不仅要确认数据处理者对数据享有的各项权利，还要保护数据来源者的权利。个人认为，数据处理者采集数据时应当遵循优先尊重人格权益、在先权利、当事人约定、促进数据的高效生产与有效利用四项准则。同时，为了避免人工智能研发者、服务提供者超目的、超范围使用采集训练数据，需要施加“明确告知”和“算法训练属于纯粹技术环节”两个限制条件。
赵帅 上海交通大学智慧司法研究院院长助理、助理研究员：
算法黑箱并非单一技术问题，而是涉及开发、监管、使用、司法等多主体视角的复杂系统性问题。从开发者角度看，模型动态演进、人员流动与知识断层加剧了黑箱现象，监管者因技术隔阂难以有效裁判，使用者则面临申诉无门的困境。纯粹技术透明既不现实也不经济，更可能引发知识产权与安全风险。因此，治理不应追求“完全透明”，而应转向“可验证性”与“可追责性”，通过风险分级、数据锚点、证据导向等方式，在输入、过程、输出三端设置闸口，实现动态平衡。如以风险分级、证据导向与可搜索加密审计为抓手，把解释权、申诉权、可追责性和系统稳健性落到指标、流程与证据上，即通过制度设计将内部复杂性转化为外部可验证承诺，推动算法在法治框架下负责任发展。
龚程程 徐汇区检察院人工智能综合履职团队：
与人工智能极速发展相伴而生的数据滥用已经突破传统侵权范畴，从个体权益侵害升级为系统性、规模化的公共风险，亟需检察公益诉讼在个人信息保护、数据安全等领域做出更为积极的探索和实践。检察公益诉讼履职过程中，调查工作要“咬得住”技术，从数据来源、交互过程、模型机制三个维度切入，做到懂技术、跟技术、用技术；制度创新要“攻得下”难题，直面并破解法律依据不足、协同机制不畅、技术能力跟不上“三重难”；综合治理要“显得出”效果，建立从个案到类案的规则，构建检察监督+行政规制+技术治理的“三元共治”格局，推动公益诉讼从“司法后端”向“治理前端”跃迁。
鲍坤 上海政法学院人工智能法学院讲师、华东政法大学在站博士后：
数据跨境涉及个人信息、商业秘密、国家秘密三重安全风险，我国相关法律法规已初步建构起“民事—行政—刑事”三级责任规则体系，涉及民事领域的人格权、知识产权等侵权责任；行政领域违反数据安全保护义务、数据出境审核要求等行政处罚；刑事领域侵犯公民个人信息、为境外刺探国家秘密等犯罪。“四大检察”均有机会在数据跨境安全治理中发挥作用，通过打击犯罪、维护公益、监督司法活动、推动行刑衔接，助力数据跨境相关国家法律法规统一正确实施。为提升履职质效，检察机关可以设置跨条线综合履职团队，注重前瞻预防和应急响应，推动检察监督流程专业化、检察监督队伍综合化、检察监督机制联动化，守护数据跨境安全防线，更好助力人工智能高质量发展与高水平安全。
本次活动依托此前签署的“AI法治联合体”战略合作与《关于加强人工智能协同治理的工作协议》开展，旨在通过青年人才共研共学，共同探索人工智能安全治理新路径、新模式。未来，徐汇区检察院将继续开展人工智能青年交流活动，持续推进人工智能法治综合人才培养，为助推人工智能安全、可靠、可控贡献更多青春力量。
微信公众号
