在罗托鲁瓦一家超市，一名妇女被面部识别技术识别错了身份，这一事件本不应该让人感到意外。
今年2月，北岛食品公司宣布打算试验这项技术，作为打击零售犯罪战略的一部分，技术和隐私专家立即提出了担忧。
特别是，Māori妇女和有色人种妇女受到歧视的风险被提出，现在已被4月初发生在蒂阿尼·所罗门身上的事件所证实。
所罗门本周在接受媒体采访时表示，她认为种族是她错误身份的一个“重要因素”。“不幸的是，如果我们对此没有一些规章制度，这将是许多新西兰人的经历。”
这家超市公司的回应是，这是一起“真正的人为失误”，但未能解决有关此类使用人工智能和自动化系统的更深层次问题。
自动决策和人类行为
自动面部识别经常被抽象地讨论——作为纯粹的算法模式匹配，重点是评估正确性和准确性。
对于处理生物特征数据和安全性的系统来说，这些是理所当然的重要优先事项。但是，由于对自动化决策结果的关注如此关键，很容易忽视对这些决策如何应用的关注。
设计师使用术语“使用环境”来描述产品的日常工作条件、任务和目标。随着人脸识别技术在超市的应用，其使用范围远远超出了传统的设计关注点，比如人体工程学或可用性。
它需要考虑自动入侵通知如何触发店内响应、管理这些响应的协议，以及当事情出错时会发生什么。这些不仅仅是纯粹的技术或数据问题。
这种观点有助于我们理解和平衡系统不同层次上工程和设计干预的影响。
对面部识别系统来说，投资提高预测准确性似乎是一个明显的优先事项。但这必须放在更广泛的使用背景下看待，在这种背景下，少量错误预测所造成的危害超过了其他方面的边际性能改进。
但针对零售犯罪
据报道，新西兰并不是唯一一个入店行窃和商店暴力行为增加的国家。在英国，它被描述为一场“危机”，袭击一名零售工人现在是一项单独的刑事犯罪。
加拿大警方正在为“打击入店行窃”投入额外资源。在加州，零售巨头沃尔玛和塔吉特正在推动加大对零售犯罪的惩罚力度。
虽然这些问题与生活成本上升有关，但新西兰零售业集团指出，有组织的牟利犯罪是主要因素。
毫无疑问，耸人听闻的报道使用了商店里肆无忌惮的盗窃和袭击的监控录像，这影响了公众的看法。但由于缺乏关于入店行窃和罪犯的一致、公正的数据，趋势很难衡量。
据估计，新西兰有15%-20%的人受到粮食不安全的影响，这一问题与种族和社会经济地位密切相关。生活成本、食品不安全以及被盗食品的黑市分销之间的联系可能是复杂而微妙的。
因此，考虑到零售场所转向持续监控的危害风险和对民间社会的影响，在评估因果关系时需要谨慎。
人工智能与人类偏见
值得赞扬的是，食品公司与隐私专员进行了接触，并对生物特征数据收集和删除协议的保障措施保持透明。缺少的是关于商店安全响应协议的更明确的规定。
这不仅仅是客户同意使用面部识别摄像头的问题。客户还需要知道在发出非法侵入通知时发生了什么，以及如果发生错误识别时的争议解决过程。
研究表明，人类决策者可能会从人工智能的决策中继承偏见。在高度紧张和暴力风险的情况下，将自动面部识别与临时的人类判断相结合是潜在的危险。
与其孤立和指责单个工人或技术组件作为单点故障，还不如更加强调整个系统的弹性和容错能力。
人工智能错误和人为错误是无法完全避免的。“人类参与其中”的人工智能安全协议需要更谨慎的保障措施，以尊重客户的权利，并防止刻板印象。
购物和监视
澳大利亚的超市用公开的技术监控来应对零售犯罪:给员工配备随身摄像机(新西兰的伍尔沃斯(Woolworths)也采用了这种技术)，用数字方式跟踪顾客在商店里的活动，自动电车锁和出口门，以防止人们不付钱就离开。
超市现在可能处于购物体验技术变革的前沿。向每一位顾客都被监控为潜在小偷的监控文化转变，让人想起了9/11事件后全球机场安检的变化。
新西兰的产品设计师、软件工程师和数据科学家将密切关注隐私专员对食品公司面部识别试验的审查结果。
盗窃和暴力是超市亟待解决的问题。但他们现在需要证明，数字监控系统是一种比其他可能的方法更负责任、更合乎道德、更有效的解决方案。
这意味着承认技术需要以人为本的设计，以避免误用、偏见和伤害。反过来，这可以帮助指导监管框架和标准，为公众讨论人工智能的可接受使用提供信息，并支持开发更安全的自动化系统。
公司提供 nversation
本文转载自The Co在知识共享许可下的对话。阅读原文。
