从每秒钟产生的数量惊人的社交媒体内容中寻找最糟糕的部分并不是人类独自的任务。
即使有了最新的深度学习工具，那些识别和审查有问题帖子的员工也会因为每天遇到的问题而不堪重负，常常受到精神创伤。分析和标记数据以帮助改进机器学习的零工注释人员每单位工作可以获得几美分的报酬。
在《IEEE技术与社会杂志》上发表的一篇由concordia牵头的论文中，研究人员认为，支持这些人类工人是必不可少的，需要不断重新评估他们用来识别有毒物质的技术和工具。
作者研究了自动毒性检测的社会、政策和技术方法，并考虑了它们的缺点，同时提出了潜在的解决方案。
该论文的合著者之一、吉娜科迪工程与计算机科学学院社会工程中心副教授克特拉施密特(Ketra Schmitt)说:“我们想知道目前的审核技术(包括机器学习和有毒语言的人类注释者)的效果如何。”
她认为，人类的贡献对节制仍然至关重要。虽然现有的自动毒性检测方法可以并且将会改进，但没有一种方法是没有错误的。人类决策者对审查决策至关重要。
“如果没有机器学习，适度的努力将是徒劳的，因为数量是如此巨大。但在围绕人工智能(AI)的大肆宣传中，人们忽略了一个基本事实，即机器学习需要人类注释器才能工作。我们不能移除人类或人工智能。”
Arezo Bodaghi是Concordia信息系统工程研究所的研究助理，也是该论文的主要作者。博达吉补充说:“我们不能简单地依靠目前在机器和深度学习中发现的评估矩阵来识别有毒物质。”“我们需要他们更准确，也需要多语言。
“我们也需要它们非常快，但当机器学习技术很快时，它们可能会失去准确性。这是一种权衡。”
来自不同群体的更广泛的投入将有助于机器学习工具变得尽可能包容和无偏见。这包括招聘不会说英语的员工，以及来自LGBTQ2S+等代表性不足的群体和种族化社区的员工。他们的贡献可以帮助改进机器学习工具使用的大型语言模型和数据集。
保持沉默网络世界社交
研究人员提供了一些具体的建议，公司可以采取提高毒性检测。
首先也是最重要的是改善注释者的工作条件。许多公司按工作单位而不是按小时支付工资。此外，这些任务可以很容易地外包给那些要求比北美或欧洲同行更低工资的工人，因此公司最终支付给员工的工资可能低于每小时1美元。
尽管这些员工是抵制一些最可怕的网络内容的第一线堡垒，但他们几乎没有提供心理健康治疗。
公司还可以刻意建立优先考虑善良、关心和相互尊重的在线平台文化，而不是像Gab、4chan、8chan和Truth Social这样歌颂毒性的网站。
改进算法方法将有助于大型语言模型减少因错误识别和区分上下文和语言而产生的错误数量。
最后，平台层面的企业文化会对用户层面产生影响。
例如，当所有权降低了用户信任和安全团队的优先级，甚至消除了用户信任和安全团队时，整个公司都可以感受到其影响，并有可能损害士气和用户体验。
施密特总结道:“最近行业发生的事件表明，让人类员工得到尊重、支持、体面的薪酬，并有足够的安全感来做出自己的判断，是多么重要。”
更多信息:Arezo Bodaghi等人，网络毒性的技术解决方案:潜在和陷阱，IEEE技术与社会杂志(2024)。引文:研究人员(2024,2月28日)说，在线毒性只能通过人类和机器共同努力来对抗，检索自https://techxplore.com/news/2024-02-online-toxicity-countered-humans-machines.html。本文受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。
