随着人工智能系统越来越多地为医疗保健、金融、法律和刑事司法领域的决策提供信息，它们需要为人类可以理解的行为提供理由。随着监管机构将批判的目光转向黑盒人工智能系统及其创造者，“可解释人工智能”领域获得了动力。但是一个人的背景如何影响对人工智能解释的看法是一个仍未得到充分探索的问题。

由康奈尔大学、IBM 和佐治亚理工学院的研究人员共同撰写的一项新研究旨在阐明可解释性和可解释性人工智能的交叉点。关注两个群体——一个有人工智能背景，一个没有——他们发现，他们都倾向于过度信任人工智能系统，并误解人工智能系统如何做出决定的解释。

研究人员写道：“这些见解具有潜在的负面影响，例如容易对用户信任进行有害操纵。” “通过让有意识地意识到人工智能背景如何以及为何塑造可解释人工智能中潜在创造者和消费者的看法，我们的工作在推进以人为中心的多元化可解释人工智能话语方面迈出了形成性的一步。”

可解释的人工智能

尽管 AI 社区尚未就可解释性和可解释性的含义达成共识，但可解释性 AI 的共同目标是使系统的预测和行为更易于人们理解。例如，解释生成方法利用要解释的模型的简单版本或关于模型的元知识，旨在通过提供非 AI 专家可以理解的简单英语原理来阐明模型的决策。

在先前研究的基础上，合著者假设认知负荷和对人工智能的普遍信任等因素可能会影响用户对人工智能解释的看法。例如，在 2020 年 ACM 上接受的一项关于人机交互的研究发现，解释可能会造成错误的安全感和对人工智能的过度信任。在另一篇论文中，研究人员发现数据科学家和业务分析师对 AI 系统准确度分数的看法不同，分析师错误地将分数视为整体性能的衡量标准。

为了验证他们的理论，康奈尔大学、IBM 和佐治亚理工学院的合著者设计了一个实验，参与者观察虚拟机器人执行相同的动作序列，这些动作序列的不同仅在于机器人“大声思考”他们的动作的方式。在类似电子游戏的场景中，机器人必须穿过滚滚巨石和流动熔岩河流，为被困太空探险者取回必需的食物供应。

上图：研究人员为他们的实验创造的类似电子游戏的环境。

其中一个机器人用简单的英语解释了其行为背后的“原因”，提供了一个基本原理。另一个机器人没有理由地陈述其行为（例如，“我将向右移动”），而第三个仅给出描述其当前状态的数值。

该研究的参与者——96名参加了计算机科学和人工智能课程的大学生和 53 名 Amazon Mechanical Turk 用户——被要求将自己想象成太空探索者。他们被困在一个不同的星球上，不得不留在一个保护穹顶内，这是他们唯一的生存来源，一个有食物供应的偏远仓库。

研究人员发现，两组的参与者都倾向于对数字抱有“毫无根据”的信心。例如，AI 组的参与者通常认为数学表示的价值比合理的要多，而非 AI 组的参与者认为数字表示智能——即使他们无法理解其中的含义。换句话说，甚至在AI组，相关人仅仅存在与逻辑，智慧和理性的统计数据。

研究人员在研究中总结道：“人工智能小组过度地将诊断价值归因于 [机器人] 的数字，即使它们的含义尚不清楚。” “这种看法表明表达方式......如何影响对人工智能代理的解释的看法，我们在判断智能时看到规范概念（例如，客观与主观）的预测。”

两组都更喜欢用语言交流的机器人，尤其是为其行为提供理由的机器人。但是这种更像人类的交流方式导致参与者将情商归因于机器人，即使没有证据表明机器人正在做出正确的决定。

结论是，AI 解释的力量在旁观者的眼中和在设计师的脑海中一样重要。研究人员表示，人们的解释意图和常见的启发式方法与设计师的预期目标一样重要。结果，人们可能会在设计师从未想过的地方找到解释价值。

“在上下文中理解设计师目标和用户意图之间的错位是促进有效的人机协作的关键，尤其是在可解释的人工智能系统中，”合著者写道。“当人们学习特定的做事方式时，它也会改变他们自己的认知方式——事实上，正如我们在本文中所讨论的，人们的 AI 背景会影响他们对解释某事的意义以及如何解释的看法……解释中的‘能力’ -能力取决于谁在看它，并从人类和解释之间的意义创造过程中产生。”

解释的重要性

鉴于欧盟委员会人工智能高级专家组 (HLEG) 和美国国家标准与技术研究所等机构为建立“可信赖的人工智能”制定标准而做出的努力，结果非常显着。可解释性继续成为采用 AI 的公司的主要障碍。据FICO 称，65% 的员工无法解释 AI 模型的决策或预测是如何做出的。

如果没有精心设计的可解释性工具，人工智能系统就有可能对现实世界造成伤害。例如，斯坦福大学的一项研究推测，临床医生滥用人工智能医疗设备进行诊断，导致结果与预期不同。The Makeup最近的一份报告揭示了美国抵押贷款批准算法中的偏见，导致贷方比白人申请人更频繁地拒绝有色人种。

合著者主张对 AI 可解释性采取“社会技术知情”方法，将社会组织背景等事物纳入决策过程。他们还建议研究减少对解释中感知差异的操纵的方法，以及通过教育努力确保专家对人工智能系统持有更批判性的观点。

“人工智能系统的可解释性对于灌输适当的用户信任和促进追索至关重要。”究人员写道，人工智能背景的差异有可能加剧设计师想象用户会如何适当解释与用户实际解释和使用它们之间的差异所带来的挑战。