一项关于人类在评估图像时所犯错误类型的研究可能使计算机算法能够帮助我们对视觉信息做出更好的决策，比如在阅读x光片或审核在线内容时。
康奈尔大学和合作机构的研究人员基于一张谷歌街景图像，分析了超过1600万份人类预测，即一个社区是在2020年总统选举中投票给乔·拜登还是唐纳德·特朗普。他们发现，作为一个群体，人类在这项任务中表现得很好，但计算机算法在区分特朗普和拜登国家方面表现得更好。
该研究还对人们搞砸事情的常见方式进行了分类，并确定了让人们误入歧途的物体，如皮卡和美国国旗。
第一作者、加州大学伯克利分校的研究生J.D. zamfirescuk - pereira说:“我们正在试图了解，在什么情况下，算法的预测比人类更有效，我们能否用它来帮助人类，或者创造一个更好的人机混合系统，让你在两个世界都得到最好的结果?”
他在2022年计算机协会(ACM)公平、问责和透明会议(FAccT)上展示了这项名为“卡车不意味着特朗普:诊断图像分析中的人为错误”的工作。
最近，研究人员对算法偏差问题给予了大量关注，这是指算法出现的错误会系统性地使女性、少数族裔和其他历史上被边缘化的人群处于不利地位。
“算法可以以无数种方式中的任何一种方式出错，这是非常重要的，”资深作者艾玛·皮尔森说，她是康奈尔理工学院雅各布斯技术-康奈尔研究所的计算机科学助理教授，也是康奈尔Ann S. Bowers计算与信息科学学院的技术人员。“但人类本身就有偏见，容易出错，而算法可以为人们如何出错提供非常有用的诊断。”
研究人员使用了来自《纽约时报》互动测试的匿名数据，该测试向读者展示了全国1万个地点的快照，并要求他们猜测该社区的投票结果。他们训练了一个机器学习算法，通过给它一个谷歌街景图像的子集，并向它提供真实的投票结果，来做出同样的预测。然后，他们将算法在剩余图像上的性能与阅读器的性能进行了比较。
总的来说，机器学习算法预测了大约74%的正确答案。为了揭示“人群的智慧”，把所有人加在一起计算，结果显示，人类的正确率为71%，而个体的正确率仅为63%。
当街景显示皮卡或开阔的天空时，人们经常错误地选择特朗普。在《纽约时报》的一篇文章中，参与者指出，美国国旗也让他们更有可能预测出特朗普，尽管有国旗的社区在两名候选人之间平分秋色。
研究人员将人类的错误分类为偏差、方差或噪声的结果——这三类通常用于评估机器学习算法的错误。偏见代表着大众智慧中的错误——例如，总是把皮卡和特朗普联系在一起。方差包含了个人的错误判断——当一个人做出错误的判断时，即使大众平均来说是正确的。噪音是指图片不能提供有用的信息，比如在一个主要支持拜登的社区，一栋房子挂着特朗普的标牌。
能够将人类的错误分类可能有助于改善人类的决策。以放射科医生通过x光片诊断疾病为例。如果由于偏见造成了很多错误，那么医生可能需要再培训。如果，平均来说，诊断是成功的，但在放射科医生之间有差异，那么第二意见可能是有必要的。如果x射线中有很多误导的噪音，那么就有必要进行不同的诊断测试。
最终，这项工作可以使人们更好地理解如何结合人在循环系统中的人和机器决策，在这种系统中，人类对其他自动化过程进行输入。
“你想要一起研究整个系统的性能——人类加上算法，因为他们可以以意想不到的方式相互作用，”Pierson说。
