在一家繁忙的医院里，一位放射科医生正在使用一种人工智能系统，根据病人的x光图像帮助她诊断病情。使用人工智能系统可以帮助她更快地做出诊断，但她如何知道何时应该相信人工智能的预测呢?
她不喜欢。相反，她可能会依靠自己的专业知识、系统本身提供的可信度，或者对算法如何做出预测的解释(这可能看起来很有说服力，但仍然是错误的)来做出估计。
为了帮助人们更好地理解什么时候应该信任人工智能的“队友”，麻省理工学院的研究人员创造了一种新技术，可以引导人类更准确地理解机器做出正确预测和错误预测的情况。
通过向人们展示人工智能如何补充他们的能力，训练技术可以帮助人类在与人工智能代理工作时做出更好的决定或更快地得出结论。
“我们提出了一个教学阶段，逐步将人类引入这个人工智能模型，这样他们就可以自己看到它的弱点和优势，”计算机科学与人工智能实验室(CSAIL)和医学工程与科学研究所临床机器学习小组的研究生侯赛因·莫扎纳尔(Hussein Mozannar)说。“我们通过在实践中模仿人类与人工智能互动的方式来做到这一点，但我们会进行干预，给他们反馈，帮助他们理解他们与人工智能的每一次互动。”
Mozannar与计算机科学助理教授Arvind Satyanarayan共同撰写了这篇论文，Arvind Satyanarayan是CSAIL可视化小组的负责人;以及资深作者、麻省理工学院电子工程和计算机科学副教授、临床机器学习小组组长大卫·桑塔格。这项研究将于2月在人工智能发展协会(Association for The Advancement of Artificial Intelligence)上发表。
心智模式
这项工作的重点是人类建立的关于他人的心智模式。如果放射科医生对某个病例不确定，她可能会询问某个领域的专家同事。根据过去的经验和她对这位同事的了解，她对他的优点和缺点有一个心理模型，她用这个模型来评估他的建议。
莫扎纳表示，人类在与人工智能互动时也会建立同样类型的心理模型，所以这些模型的准确性非常重要。认知科学表明，人类通过记忆过去的互动和经历来为复杂的任务做决定。因此，研究人员设计了一个新入职过程，提供了人类和人工智能合作的代表性例子，作为人类未来可以借鉴的参考点。他们首先创建了一种算法，该算法可以识别出最能让人类了解人工智能的例子。
莫扎纳说:“我们首先通过观察人类专家过去在不受人工智能引导的情况下所做的决定，来了解他们的偏见和优势。”“我们将自己对人类的了解与对人工智能的了解结合起来，看看人工智能在哪些方面会对人类有所帮助。然后我们得到了人类应该依赖人工智能的案例，以及人类不应该依赖人工智能的类似案例。”
研究人员在一项基于文章的问答任务中测试了他们的新技术:用户收到一篇书面文章和一个答案包含在文章中的问题。然后用户必须回答问题，然后点击按钮“让人工智能回答”。然而，用户无法提前看到AI的答案，这就要求他们依靠自己对AI的心理模型。他们开发的入职过程首先是向用户展示这些例子，用户试图在人工智能系统的帮助下做出预测。人类可能是对的或错的，人工智能可能是对的或错的，但在解决例子后，用户看到正确的答案和为什么人工智能选择它的预测的解释。为了帮助用户从这个例子中归纳，我们展示了两个对比鲜明的例子来解释为什么AI做对了或做错了。
例如，也许培训问题是基于植物学课本上一段令人费解的段落，问两种植物中哪一种是更多大陆的原生植物。人类可以自己回答，也可以让人工智能系统回答。然后，她看到了两个后续的例子，帮助她更好地了解AI的能力。也许人工智能在一个关于水果的问题上是错误的，但在一个关于地质学的问题上是正确的。在每个例子中，系统用来进行预测的单词都被突出显示。Mozannar解释说，看到突出显示的文字有助于人们理解人工智能代理的局限性。
为了帮助用户记住他们所学到的东西，用户写下她从这个教学例子中推断出的规则，如“这个AI不擅长预测花。”然后，当她在实践中与代理一起工作时，她可以参考这些规则。这些规则也构成了用户对AI的心理模型的形式化。
教学的影响
研究人员在三组参与者中测试了这种教学方法。其中一组完成了整个入职技术，另一组没有收到后续的对比例子，基线组没有接受任何教学，但可以提前看到人工智能的答案。
接受教育的参与者和没有接受教育但能看到人工智能的答案的参与者表现一样好。因此，我们的结论是，他们能够模拟人工智能的答案，就像他们看到的那样。”莫扎纳说。
研究人员对数据进行了更深入的研究，以了解每个参与者所写的规则。他们发现，接受培训的人中，近50%的人准确地写出了有关人工智能能力的课程。那些上过正确课程的人在63%的例子上正确，而那些没有上过正确课程的人在54%的例子上正确。而那些没有接受教育但能看到人工智能的答案的人答对了57%的问题。
“当教学成功时，会产生重大影响。这就是这里的要点。当我们能够有效地教授参与者时，他们能够比你实际给出答案时做得更好。”
但结果也表明，仍有差距。在接受过训练的人当中，只有50%的人建立了准确的人工智能心智模型，即使是那些建立了人工智能心智模型的人，其正确率也只有63%。莫扎纳说，尽管他们得到了准确的教训，但他们并不总是遵循自己的规则。
这是一个让研究人员挠头的问题——即使人们知道人工智能应该是正确的，为什么他们不听从自己的心理模型?他们希望在未来探索这个问题，并优化入职流程，以减少所需的时间。他们还对使用更复杂的人工智能模型进行用户研究感兴趣，特别是在医疗保健领域。
