李嘉璐：欧盟可信人工智能自评估清单

2019年欧盟委员会人工智能高级专家组发布了《可信人工智能伦理指南》。该指南中包含了一份评估清单，以帮助评估正在开发、部署、采购或使用的人工智能系统是否符合指南中规定的“可信人工智能”的七项要求。2020年7月，最终版《可信人工智能自评估清单》发布，它为人工智能开发者、部署者、使用者提供了评估可信人工智能的初步方法，有助于推动可信人工智能七项要求的践行和落实。

The Assessment List For Trustworthy Artificial Intelligence（ALTAI）

—— High Level Expert Group on Artificial Intelligence

可信人工智能自评估清单（ALTAI）

——欧盟委员会人工智能高级专家组

”

【目录】

引言：如何使用可信人工智能评估清单

要求#1人类能动性和监督

人类能动性和自主性

人类监督

要求#2技术稳健性和安全性

抵御攻击和安全性

整体安全

准确度

可靠性、回溯计划和可复现性

要求#3隐私和数据治理

隐私

数据治理

要求#4透明度

可追溯性

可解释性

可沟通性

要求#5多样性、非歧视和公平性

避免不公正的偏见

可及性和通用设计

利益相关者的参与

要求#6环境友好和社会福祉

实现环境友好

对工作和技能的影响

对全社会或民主的影响

要求#7问责制

可审核性

风险管理

词汇表

I

可信人工智能的伦理目标

本评估清单立足于对公民基本权利的保护。公民基本权利既包含人类尊严、非歧视等，也包含数据保护和隐私相关的权利。清单指出，在使用本评估清单对人工智能系统进行自我评估之前，应先进行基本权利影响评估（FRIA），以确保人工智能的开发、部署和使用过程遵守人民基本权利、原则和价值观。

II

实现可信人工智能的关键要求

01

人类能动性和监督

AI系统应该根据尊重人类自主权的原则，支持人类的能动性和人类的决策。这就要求AI系统做到以下两点：通过支持用户的能动性，成为民主、繁荣和公平社会的推动者；以人类监督为支撑，维护公民的基本权利。

1.1人类能动性和自主性

AI系统在开发、部署和使用过程中应当制定相应措施以避免AI系统无意中干扰用户决策，降低AI系统创造人类沉迷、操纵用户行为的风险。同时终端用户和主体应当始终被告知他们正在与AI系统而非人类互动，其应当充分意识到某项决议和结果是算法决定的结果。

1.2人类监督

人类应有能力干预或监督AI系统。监督可以通过不同的管理机制来实现，包括决策监督机制、设计监督机制、整体监督机制等方法。

02

技术稳健性和安全性

实现可信AI系统的关键要素是其可靠性（提供可信赖服务的能力）和适应力（面对变化时的稳健性）。技术的稳健性要求AI系统在开发过程中具备对风险的预防性方法，并确保其行为可靠、符合预期、尽量减少并预防无意和意外伤害。

2.1抵御攻击和安全性

人类应当制定相应措施以确保AI 系统的完整性、稳健性和整体安全性以抵御其生命周期内的潜在攻击。攻击切入点可能为数据，也可能为模型。同时，AI系统应经过网络安全认证或符合特定的安全标准。

2.2整体安全

人类应当对AI系统的可能威胁和风险进行评估，并将结果告知终端用户和主体，以确保AI系统不会对用户造成伤害。

2.3准确度

准确度是AI系统的一个性能指标。低准确性可能会导致严重后果。人类应当采取措施确保用于开发AI 系统的数据（包括训练数据）是最新的、高质量的、完整的且能够代表系统部署环境。同时，人类应制定相关程序以保证用户和系统之间的沟通准确度。

2.4可靠性和可复现性

人类应当制定相应程序确保AI 系统结果的可靠性和可重复性，并制定经过测试的故障安全后备计划以解决AI系统错误。

03

隐私和数据处理

隐私是人类的一项基本权利，尤其受到AI系统的影响。防止对隐私的伤害需要完善的数据治理。这其中包括所使用数据的质量和完整性、数据与AI系统将被部署领域的相关性、数据的访问协议和以保护隐私的方式处理数据的能力。

3.1隐私

AI系统应当尊重人类人身完整的基本权利，这其中包括人的精神和身体完整。

3.2数据治理

AI系统对数据的收集、生成或处理应当遵循相关的标准和协议，保护用户的隐私和数据。

04

透明度

实现可信AI的一个重要因素是透明度，这其中包括可追溯性、可解释性、关于AI系统局限性的公开交流。

4.1可追溯性

产生AI系统决策的数据和过程应当得到适当的记录以用来追溯。并且应该增加透明度，最终在社会中建立对AI系统的信任。

4.2可解释性

可解释性即解释AI系统的技术过程和决策过程。在可能的范围内，AI系统驱动下的决策必须向直接或间接受影响的人解释并被他们理解，以便允许他们对决策产生质疑。需要解释的程度取决于背景和错误或不准确的输出对人类生活影响的严重性。

4.3可沟通性

可沟通性要求AI系统的能力和局限以适合于现有惯例的方式传达给用户。在使用交互式AI系统（如聊天机器人、机器人律师）时用户应当被告知他们正在与AI系统而非人类交互。人类应当建立相应机制告知用户AI系统所产生决策的目的、标准和限制。

05

多样性、非歧视和公平性

5.1避免不公正的偏见

AI系统（无论用于训练还是操作）可能会受到无意识的历史偏见、不完整和不良治理模式的影响。这种偏见的延续可能导致对某些群体或人的无意的直接偏见或歧视（以及间接偏见或歧视），从而加剧偏见和边缘化。故意利用（消费者）偏见或从事不公平竞争，如通过串通和不透明的手段使价格同质化，也会造成伤害。应尽可能在收集阶段消除可识别的和歧视性偏见。

5.2可及性和通用设计

尤其是在B2C（企业对消费者）领域，AI系统应该以用户为中心，其设计方式应允许所有人使用AI产品或服务，无论人们的年龄、性别、能力或特征如何。尤为重要的一点是，各种社会群体中的残障人士均有机会使用这种技术。

5.3利益相关者的参与

为开发可信人工智能，建议咨询在整个生命周期内可能直接或间接收到AI系统影响的利益相关者。同时在部署之后定期征求反馈，并为利益相关者建立长期的参与机制。

06

环境友好和社会福祉

应鼓励AI系统的可持续性和生态责任，利用AI维护和促进民主进程，造福人类，包括子孙后代。

6.1实现环境友好

AI系统即使被承诺用于帮助解决一些最紧迫的社会问题，如气候变化，也必须以环境友好型方式发挥作用。AI系统的开发、部署和使用过程以及整个供应链都应进行此方面的评估。

6.2对工作和技能的影响

AI系统将会对人类工作和工作安排产生影响。人类应采取措施确保AI系统对人类工作的影响得到充分理解，并积极应对AI系统可能带来的劳动力去技能化风险。

6.3对全社会或民主的影响

人类在使用AI系统时应当考虑将它对机构、民主和全社会的影响。AI系统不得破坏民主进程、人类审议或民主投票制度，也不得对整个社会构成系统性威胁。

07

问责制

应建立可利用的问责机制，以确保对AI系统的开发、部署和/或使用负责并在发生不公正或不利影响时有充分的补救可能性。

7.1可审计性

内部和外部审计者进行评估以及获取上述评估记录的可能性有助于构建可信赖的AI系统。在影响基本权利的应用中，包括对安全至关重要的应用，AI系统应该能够被独立审计。但这并不意味着和AI系统相关的商业模式和知识产权信息必须始终公开。

7.2风险管理

识别、评估、记录和尽量减少AI系统的潜在负面影响，对（直接）受影响的人来说至关重要。举报人、非政府组织、工会或其他实体在报告对AI系统的合法关切时必须得到应有的保护。实现上述需求时可能会有矛盾的产生，此时需要做出权衡。这种权衡应在技术水平范围内以合理和有条理的方式来进行。