作者:胡静 洪佳杨 k8凯发天生赢家·一触即发律师事务所发布日期:2024-06-07
目 录
一、背景导读
二、指南内容一览
三、EDPS指南速评
01
背景导读
当地时间2024年06月03日,欧洲数据保护监督机构(European Data Protection Supervisor, “EDPS”)发布了供欧盟机构、团体、办公室和机关(EU institutions, bodies, offices and agencies,“EUIs”)使用的关于生成式人工智能和个人数据保护的指南(“指南”、“本次指南”),为欧盟EUIs提供了在使用生成式人工智能(又称AI)系统时处理个人数据的实用建议和说明,以促进其遵守适用于EUIs的欧盟第2018/1725号条例,即《关于在欧盟机构、机关、办公室和办事处处理个人数据方面对自然人的保护以及这些数据的自由流动,并废除(EC)第 45/2001 号条例和(EC)第1247/2002 号决定的条例》(“条例”)等数据保护法律的要求。值得注意的是,该指南仅适用于欧盟机构、团体、办公室和机关等具有“公共服务职能”的主体,对欧盟境内个人或企业等私主体仅具有一定参考价值。
在指南的开篇部分,EDPS表示其系以数据保护监督机构的身份发布该指南,以确保生成式人工智能系统遵守包括条例在内的数据保护规定,而非作为人工智能监督机构。EDPS意识到,条例本身没有明确提到人工智能的概念,但是正确诠释数据保护原则的过程对于人工智能系统不损害个人基本权利和自由至关重要。EDPS特别强调,尽管这一指南在起草时希望涵盖尽可能多的应用情景,但由于人工智能技术发展迅速,提供生成式人工智能服务的具体工具和手段在发生快速变化,这一指南无法毫无遗漏地涵盖生成式人工智能处理个人数据相关的所有问题,额外问题还需欧洲的相关数据保护主管机构具体分析。
02
指南内容一览
具体而言,本次指南包括以下14方面内容:1. 什么是生成式人工智能?2. EUIs可以使用生成式人工智能吗?3. 如何知道使用生成式人工智能系统是否涉及个人数据处理?4. 在开发或部署生成式人工智能系统的过程中,数据保护官扮演什么角色?5. EUIs想要开发或实施生成式人工智能系统,何时应进行数据保护影响评估?6. 在设计、开发和验证生成式人工智能系统时,何时处理个人数据是合法的?7. 在使用生成式人工智能系统时,如何保证符合数据最小化原则?8. 生成式人工智能系统是否尊重数据准确性原则?9. EUIs使用生成式人工智能系统时,如何告知个人有关个人数据处理的情况?10. 条例第 24 条所指的自动决定如何处理?11. 在使用生成式人工智能系统时,如何确保公平处理并避免偏见?12. 个人权利的行使如何?13. 数据安全性如何?14. 还想了解更多吗?
(一) 什么是生成式人工智能?
根据EDPS的描述,生成式人工智能是人工智能的一种,这一技术使用专门的学习模型设计来产生多样化的输出以执行不同任务或支持不同应用(如生成文本、图像或音频)。技术上讲,生成式人工智能需要依赖于其“基础模型”的使用,基础模型是众多生成式人工智能系统的核心架构和基准,不同的生成式人工智能系统通过对这一模型进行微调以针对具体的任务或应用。
在指南中,EDPS肯定了生成式人工智能作为新技术的价值,它在多个领域提供解决方案,可以增强人类社会的能力。然而这一技术也可能威胁到人们的基本权利和自由,这些影响在一些时候被人们忽视,没有得到足够的考虑和评估。
(二) EUIs可以使用生成式人工智能吗?
EDPS原则上肯定了EUIs对生成式人工智能的使用。EDPS认为,在遵守EUIs具体自身的相关规则和所有可适用法律要求的前提下,EUIs完全可以开发、部署和使用生成式人工智能系统以提供公共服务。但EDPS同时强调,出于使用这一项新技术时对个人基本权利和自由的尊重,如果EUIs使用生成式人工智能时涉及到个人数据处理,那么生成式人工智能系统在其全生命周期内都应该在包括条例在内的法律框架运作,并明确不同数据处理角色在条例项下义务与责任的范围。
EDPS希望EUIs可以建立一套“可信赖而负责的人工智能系统”,这意味着这一系统必须是透明、可解释、前后一致的,以达到最大程度上确保个人数据公平处理的目的。
(三) 如何知道使用生成式人工智能系统是否涉及个人数据处理?
EDPS在这一部分的分析中首先注意到,生成式人工智能系统的生命周期中的各个阶段(包括在创建训练数据集、训练阶段、系统运行时的输入和输出等阶段)都可能涉及个人数据处理。因此,EDPS表示,若相关生成式人工智能的服务提供者或开发者声称其应用不涉及任何个人信息处理(如仅使用匿名数据集或合成数据),EUIs应首先询问该提供者或开发者已经采取了哪些具体措施来保证这一点,并对这些措施情况进行定期监控。
特别地,EDPS再次对于使用网络爬取技术收集个人数据的做法进行郑重警告。EDPS称通过这种方式采集的个人数据是在个人不知情、违背期望的情况下进行的,被收集的个人可能完全失去对其个人信息的控制。EDPS还强调,即使是公开个人数据处理仍然受欧盟数据保护法规的约束。在这方面,在人工智能系统中使用爬取技术从网站收集数据并用于训练目的,类似的做法根本上不符合相关数据保护原则(如准确性和数据最小化原则)。
(四) 在开发或部署生成式人工智能系统的过程中,数据保护官扮演什么角色?
EDPS首先指出条例的第45条所确立的数据保护官任务,其包括负责提供有关数据保护义务的信息和建议,协助数据控制者监控内部合规性并就数据保护影响评估的结果提供建议等。具体到使用生成式人工智能系统的背景下,EDPS认为最应关注的是确保数据保护官在其职责范围内独立地协调EUIs遵守条例规定。这意味着数据保护官需要了解所使用的生成式人工智能何时以及如何处理个人数据的信息、掌握这一系统关于个人数据的输入和输出运作方式以及基础模型实施的决策过程。另一方面,数据保护官还需要在进行数据保护影响评估时向数据控制者提供建议。确保所有流程都在透明的基础上得到适当记录。最后,数据保护官应参与审查与人工智能模型提供商签署的数据共享协议的审查过程,以确保完全合规。
EDPS特意强调上述合规操作并非数据保护官一人之职责,数据控制者应与EUIs内所有相关职能部门进行联络,包括数据保护官、法务、IT以及本地信息安全官,以确保EUIs使用符合条例规定且值得信赖的生成式人工智能系统。若可能,EDPS提议EUIs创立一个包括数据保护官在内的特别工作组,以协调实现上述目标。
(五) EUIs想要开发或实施生成式人工智能系统。何时应进行数据保护影响评估?
EDPS首先明确了条例对数据保护影响评估的基本要求:在任何可能涉及影响个人基本权利或自由的高风险数据处理之前,都应进行数据保护影响评估。特别地,条例尤其强调对于使用新技术进行个人数据处理行为的数据保护影响评估的重要性。对此EDPS指出,若是进行首次评估,EUIs应与数据保护官员进行商议。
具体到EUIs使用生成式人工智能的场景中,EDPS认为在进行数据保护影响评估时可以适当征求数据主体本人或其代表的意见。除了在使用这一新技术时进行初次评估,EDPS认为EUIs还需要定期进行数据风险监控和审查,这一原因在于生成式人工智能模型在运作过程中可能产生新的风险或加剧原有风险。EDPS强调数据保护风险评估工作以及其后的定期审查监控应该是贯穿整个生成式人工智能系统的生命周期,EUIs有责任识别、管理与使用生成式人工智能系统相关的风险,并对未识别出的风险保持警惕态度。对于无法通过合理手段进行缓解的数据风险,EUIs还需要咨询EDPS处理。
(六) 在设计、开发和验证生成式人工智能系统时,何时处理个人数据是合法的?
对于这一核心问题,EDPS指出EUIs在通过生成式人工智能处理任何个人数据时至少应从条例中找到一个合法性基础。这一合法性基础应当是清晰、精确、可预见的,以符合包括《欧洲人权公约》在内的框架性文件要求。即使是相关数据处理是基于行使公共权力,其法律基础也必须在欧盟法律中明确地规定。特别地,EDPS特别对EUIs可能主要使用的两种合法性依据,即“个人同意”和“合法利益”进行了分析:
1. 个人同意
EDPS承认“个人同意”可以作为使用生成式人工智能系统的合法数据收集基础。EDPS指出条例要求“个人同意”必须有个人“明确、具体、自主且知情”的同意。EDPS希望EUIs在接受个人同意时仔细考虑其是否符合前述规定。此外,若个人撤回同意,虽然撤回之前数据处理仍然合法,但EUIs必须停止有关通过相关生成式人工智能系统进行个人数据处理操作。如果没有其他合法处理基础,EUIs还必须删除相关数据;
2. 合法利益
EDPS认可欧盟通用数据保护条例(GDPR)项下的合法利益规定同样可以作为数据处理的合法基础。依据欧盟法院的判决,“合法利益”这一处理基础包含三个前提条件:首先,所追求的利益必须是合法的;其次,该合法利益需要以处理个人数据的形式实现;最后,数据处理者所追求的合法利益不会优先于相关个人的基本自由和权利。EDPS指出,在生成式人工智能系统进行数据处理的情况下,数据主体的个人自由与“合法利益”存在一个不可预测的平衡过程。因此,EUIs有责任持续验证相关系统提供商是否符合这一法律基础。
(七) 在使用生成式人工智能系统时,如何保证符合数据最小化原则?
EDPS指出,条例第4条的规定数据最小化原则意味着数据控制者必须确保所处理的个人数据是充分的、相关的且仅限于与处理目的相关的必要范围内。EDPS专门驳斥了所谓数据最小化原则不应适用于人工智能领域的论调,并认为所有数据控制者都有义务将收集处理的个人数据限制在目的所必需的范围内,避免不加选择地处理个人数据。对于EUIs而言,EDPS指出这意味着必须确保参与生成式人工智能模型开发的人员了解可用于最小化个人数据使用的技术程序,并始终考虑到使用这些技术程序以最小化影响。
具体而言,EDPS建议EUIs应开发和使用训练有素的高质量数据采集模型。在类似高质量模型的作用下,相关数据可以在适当的数据治理程序框架内被恰当地标记和整理,以达到最小化收集范围的目的。
(八) 生成式人工智能系统是否尊重数据准确性原则?
EDPS指出,条例项下要求的数据准确性原则要求数据必须是准确和最新的,数据控制者有义务更新或删除不准确的数据。具体到人工智能领域,EDPS认为EUIs必须确保在生成式人工智能系统的开发和使用的所有阶段中数据的准确性。EDPS指出,这意味着EUIs要验证用于训练模型的数据集,包括那些来自第三方的数据集。
尽管有上述措施努力确保数据准确性,EDPS指出生成式人工智能系统仍容易出现不准确的结果,导致影响个人的基本权利和自由。因此,EUIs应该仔细评估整个系统生命周期中的数据准确性,并考虑到如果无法维持准确性,则根本不应使用这些系统。
(九) EUIs使用生成式人工智能系统时,如何告知个人有关个人数据处理的情况?
EDPS指出,适当的信息和透明度政策可以帮助减少对个人的风险,并确保符合条例的要求。因此,EUIs在使用处理个人数据的生成式人工智能系统时,必须向个人提供条例要求的所有信息。向个人提供的信息必须应在必要时更新,以确保他们得到适当的信息并能够控制自己的数据。
EDPS通过一个虚拟案例说明了EUIs所要向用户提供信息的范围:欧盟机构X正在准备一个聊天机器人,以帮助个人在其网站的某些区域获取信息。该机构在数据保护官的帮助下准备了一份数据保护通知在其网站上提供,该通知包括有关处理目的、法律依据、控制者的身份以及数据保护官的联系方式、数据的接收者、收集的个人数据类别、数据的保留以及如何行使个人权利的信息。该通知还包括有关系统工作原理以及可能使用用户输入改进聊天功能的信息。若欧盟机构X使用同意作为法律依据,则用户可以随时撤回同意。该通知还明确指出未成年人不得使用聊天机器人。在开始使用聊天机器人前,个人可以在阅读数据保护通知后提供同意。
(十) 条例第 24 条所指的自动决定如何处理?
EDPS首先明确,使用生成式人工智能系统并不一定意味着进行自动化决定/决策。但一部分生成式人工智能系统提供通过自动化手段获得的决策信息,若EUIs使用这些信息作出最终决策,则可能落入条例第24条有关“自动化决定”的范围,需要按照条例要求进行适当的个人信息保护措施(包括但不限于个人至少有权获得一些人为干预的选项并对自动化结果表达自己的观点)。因此,EDPS指出在管理此类人工智能决策工具时,EUIs必须仔细考虑如何保障获得人为干预的权利(这对某些完全自动化作出决定的人工智能系统尤为重要)。另一方面,EUIs也必须关注人工智能系统提供的信息在最后决策程序中的权重,是否对EUIs的最终决定有决定性影响。EDPS意识到,进行自动化决定或决策的人工智能系统将带来包括不公平、不道德或歧视性的潜在独特风险,且对弱势群体及儿童风险尤为显著。
为此,EDPS用一个其认可的虚拟案例大致说明EUIs应对“自动化决定/决策”采取的谨慎态度:欧盟机构X正在考虑使用人工智能系统进行工作申请的初步筛选和过滤。服务提供商C提供了一个生成式人工智能系统,该系统对正式要求进行分析并对申请进行自动评估,提供分数并建议下一阶段要面试的候选人。在查阅了有关模型的文档,包括统计准确性的可用措施并考虑到模型中可能存在的偏见,欧盟机构X决定至少在有明确迹象表明偏见风险已被消除并且精确度措施得到改善之前,不使用该系统。作为现有替代,欧盟机构X可能会决定使用一个“更简单”的在线自动化工具来筛选工作申请(例如,通过IT工具自动检查专业经验或教育年限)。
(十一) 在使用生成式人工智能系统时,如何确保公平处理并避免偏见?
EDPS意识到了人工智能这一技术可能会放大现有的偏见,并可能纳入新的偏见,这将造成伦理与合规上的双重风险。EDPS指出,这些偏见可能在生成人工智能系统的开发过程中的任何阶段产生,其主要来源可能包括训练数据中的现有模式、方法错误甚至是人工智能监控者本身引入的偏见。
EDPS建议EUIs应该首先致力于发现偏见的问题,如使用针对其业务需求量身定制的输入数据来测试和定期监控系统输出是否有偏见。在了解决这一问题的基础上,EDPS建议EUIs在生成式人工智能系统生命周期的所有阶段,都要应用偏见最小化的程序,以确保公平处理并避免歧视性做法。为此,EUIs对相关算法的工作原理和用于训练模型的数据进行监督是绝对有必要的。另一方面,作为公共机构,EUIs应设置保障措施避免过度依赖系统提供的偏见性结果。
(十二) 个人权利的行使如何?
由于技术本身的特殊性,EDPS意识到生成式人工智能系统本身对行使个人权利可能造成新的挑战,包括在个人享有的访问权、更正权、擦除权和反对数据处理权等方面。由于技术自身限制、更新或删除这些模型中存储的数据是非常困难的(有时会影响到模型的有效性)。因此EDPS指出,EUIs在使用人工智能时应进行适当数据集管理。例如,保持个人数据处理的可追溯记录并允许追踪其使用方式管理数据集,以尽可能可能支持行使个人权利。另一方面,数据最小化技术也可以帮助减轻类似风险。有鉴于此,EDPS敦促作为数据控制者的EUIs在生成式人工智能系统的全生命周期内都应当实施适当的技术、组织和程序措施,以确保个人有效行使权利。
(十三) 数据安全性如何?
作为一项新兴技术,EDPS意识到了生成式人工智能系统可能会从技术上放大现有的安全风险并创造新风险。这一原因在于与传统系统相比,生成式人工智能依赖于不可靠的训练数据及复杂且不透明的系统。EUIs在提供涉及一般公众的公共服务时(如健康领域服务),尤其更可能放大这些不利影响。EDPS指出,依照条例要求,EUIs应采取适当的技术和组织措施确保与上述风险相称的安全水平。
就安全措施而言,EDPS注意到目前出现了模型反转攻击、提示注入、越狱等新兴黑客攻击方式,专门针对人工智能系统。对此,EDPS建议EUIs只使用可信来源提供的数据集,并定期进行验证程序,包括对内部数据集进行验证。此外,EUIs也应对员工进行培训,教会他们如何识别和处理与使用生成式人工智能系统相关的安全风险。由于风险演变迅速,定期监控和更新风险评估也是必要的。
(十四) 还想了解更多吗?
在这一部分,EDPS通过链接的形式展示了该机构之前的一些关于人工智能领域的工作成果,并列举了一些其他机构的相关研究成果,以供参考。
03
EDPS指南速评
EDPS并非GDPR项下的执法机关,本次发布的指南和建议措施效力上也无法作为监管规定直接适用,本次合规指南仅是针对使用生成式人工智能的欧盟公共服务机构,而非一般主体。尽管如此,由于条例的规定与GDPR在监管逻辑上有一定相似性(通俗地说,条例可以大致被理解为“欧盟政府版的GDPR”),EDPS本次出具的指南仍然对生成式人工智能这一新兴领域的数据合规有不小的参考价值,具体体现在以下几个方面:
(一) 对使用生成式人工智能系统的肯定
在指南的各个部分,EDPS都表达了对于使用生成式人工智能系统的肯定,认可这一技术进步可以对包括EUIs在内的各个欧盟机构的工作带来帮助,EDPS并不反对在符合条例法律框架(主要涉及个人数据保护)的前提下使用这一技术。
值得注意的是,EDPS的确在本次指南中的一些分析及案例中反对了EUIs在特定情况下使用生成式人工智能系统,例如这一技术无法保证输出数据准确性或无法保证完全消除输出结果中的偏见等情形。在这些情况下,EDPS建议EUIs根本不使用这一技术。EDPS这一结论是基于数据准确性和输出结果中的偏见等情形会根本上动摇条例下的合规性,且现有技术手段无法弥补(如进一步改进人工智能系统),因此只能选择不使用,并非对生成式人工智能技术本身的怀疑。
(二) 使用生成式人工智能的法律基础
从数据合规的角度出发,生成式人工智能系统的使用本质上是一种个人数据收集方法(无论是由一般主体还是欧盟团体),需要具有一定法律基础。在EDPS本次指南的分析中,EDPS论述的生成式人工智能系统收集数据的法律基础并没有跳出传统框架范围:合法利益、个人同意或法律法规其他明确授权。因此,即使生成式人工智能的技术本身存在一定问题(如无法随心所欲地删除其中储存的个人信息,可能会影响到整个模型架构),作为一项必不可少的法律基础,包括EUIs在内的数据收集者仍应完全尊重使用者的同意权,给予使用者撤回同意及删除信息的权利。若无法保障类似的合法基础,EDPS本次指南中的倾向是先不使用该技术,这一“法无授权即不为”的监管思路对我国今后对于人工智能收集个人信息的探索有一定借鉴意义。
(三) 生成式人工智能技术带来的新挑战
在带来技术便利性的同时,在本次指南中EDPS反复强调了生成式人工智能这一技术本身也会给个人的“基本权利和自由”带来挑战。客观上说,这一挑战并非是数据收集者(如EUIs)刻意为之的结果,而是这一技术本身的特点导致的。例如,在训练模型中更新或删除一些个人数据可能会影响到整个模型,即使是在使用高质量训练模型的情况下,仍可能生成包含不准确虚假、带有偏见信息的输出,这些困难目前在技术上难以直接攻克。
根据对本次指南中EDPS的表态总结,EDPS整体上对生成式人工智能这一技术采取一种谨慎乐观的态度:数据处理者应尽可能保障通过人工智能系统收集的个人数据与其他传统途径收集的个人数据在合规及安全性上没有差别。基于人工智能技术的特殊性,EDPS建议采取的措施除了进行覆盖全数据生命周期的影响评估、定期安全性审查和监控等传统措施外,还加入了诸如通过输入特定信息对人工智能系统进行定期测试,判断其是否输出偏见或违规个人信息等针对性措施。为了防范针对人工智能的新型数据攻击,EDPS甚至创新性地提出使用“红队技术”(即模拟真实对人工智能系统的攻击以测试漏洞)来进一步杜绝数据安全风险。只有在完全无法消除可观数据安全风险的情况下,EDPS才建议不使用这一技术。
由此可见,面对暂时无法克服的技术难题,EDPS并没有选择“一刀切”的直接禁止管理思路,而是希望达成一个技术进步和数据安全之间的平衡,其用心值得我国在今后针对人工智能领域的监管借鉴。
参考文献
[1] EDPS指南官网链接:https://www.edps.europa.eu/press-publications/press-news/press-releases/2024/edps-guidelines-generative-ai-embracing-opportunities-protecting-people_en.
作者简介
胡静
k8凯发天生赢家·一触即发中亚业务委员会秘书长、k8凯发天生赢家·一触即发北京合伙人
业务领域:出口管制与经济制裁、数据合规、跨境投资
邮箱:hujing@3qaa.com
洪佳杨
k8凯发天生赢家·一触即发北京律师助理
业务领域:出口管制与经济制裁、国央企合规等
邮箱:hongjiayang@3qaa.com
【 特别声明:本篇文章所阐述和说明的观点仅代表作者本人意见,仅供参考和交流,不代表本所或其律师出具的任何形式之法律意见或建议。】