2024年4月，一位家长在Facebook的一个私人群里问了一个问题:有孩子既有天赋又有残疾的人，有没有在纽约市公立学校上学的经历?这位家长得到了一个看似有用的答案，列出了某所学校的一些特点，从“我有一个孩子也是2e”开始，意思是两次例外。
在波士顿附近的一个Facebook交换不想要的东西的小组里，一个寻找特定物品的用户收到了一个“用得很少”的佳能相机和一个“几乎是新的便携式空调，我从来没有使用过”的提议。
这两个回答都是谎言。那个孩子不存在，照相机和空调也不存在。答案来自一个人工智能聊天机器人。
根据一个元帮助页面，如果有人明确标记了一篇帖子，或者有人“在帖子中提出了一个问题，但在一小时内没有人回应”，元人工智能就会对该组中的帖子做出回应。根据该页面，该功能尚未在所有地区或所有群体中可用。对于可用的组，“管理员可以随时关闭或重新打开它。”
元人工智能也被整合到Facebook和Instagram的搜索功能中，用户无法关闭它。
作为一名研究在线社区和人工智能伦理的研究人员，我发现，不请自来的聊天机器人在Facebook群中回答问题的想法是反乌托邦的，原因有很多，首先，在线社区是为人类服务的。
人类的关系
1993年，Howard Rheingold出版了一本关于WELL的书《虚拟社区:电子前沿的家园》，这是一个早期的、具有重要文化意义的在线社区。第一章以一个养育孩子的问题开始:“一个充血的东西在吮吸我们孩子的头皮”，该怎么办?
莱茵戈尔德从一个有处理蜱虫第一手知识的人那里得到了答案，并在收到儿科医生办公室的回电之前解决了这个问题。关于这次经历，他写道:“让我惊讶的不仅仅是我们获得所需信息的速度，而且是在我们需要知道的时候。还有一种巨大的内心安全感，这种安全感来自于发现真实的人——大多数是父母，有些是护士、医生和助产士——只要你需要，他们随时都在。”
在线社区的这种“真人”方面在今天仍然至关重要。想象一下为什么你会向Facebook群组而不是搜索引擎提出问题:因为你想从有真实生活经验的人那里得到答案，或者你想要你的问题可能引起的人类反应——同情、愤怒、同情——或者两者兼而有之。
几十年的研究表明，在线社区的人类组成部分使其在信息寻求和社会支持方面如此有价值。例如，父亲们在寻求育儿建议时可能会感到不舒服，但他们在私人网络空间找到了一个专属于父亲的避风港。LGBTQ+青年经常加入在线社区，以安全地找到关键资源，同时减少孤独感。心理健康支持论坛除了提供建议和社会支持外，还为年轻人提供归属感和认可。
除了我自己的实验室对在线社区中的LGBTQ+参与者以及黑人推特的类似发现之外，最近还有两项尚未经过同行评议的研究强调了在线社区中信息寻求的人性化方面的重要性。
其中一个由博士生布莱克利·佩恩(Blakeley Payne)领导，专注于胖子的网上体验。我们的许多参与者在与有着相似经历的观众和社区的接触中找到了一条生命线，因为他们寻求和分享关于如何在充满敌意的医疗系统中导航、寻找服装以及处理文化偏见和刻板印象等主题的信息。
另一项由博士生费·科利格(Faye Kollig)领导的研究发现，人们在网上分享自己慢性病的内容，是出于分享经历带来的社区意识，以及与他人联系以寻求和提供支持和信息的人性化方面。
人造的人
正如我们的参与者所描述的，这些在线空间最重要的好处可能会被聊天机器人而不是人类的回应大大破坏。
作为一名1型糖尿病患者，我关注了许多相关的Facebook群组，这些群组是许多父母经常光顾的，他们最近面临着照顾患有糖尿病的孩子的挑战。人们经常会问:“这是什么意思?”“我该怎么处理这件事?”“你在这方面有什么经验?”答案来自亲身经历，但通常也带有同情心:“这太难了。”“你已经尽力了。”当然还有:“我们都有过这种经历。”
一个聊天机器人声称自己有照顾糖尿病儿童的亲身经历，并表示同情，这样的回应不仅不合适，而且近乎残忍。
然而，这些都是聊天机器人会提供的响应类型，这是完全有道理的。简单地说，大型语言模型的功能更类似于自动补全，而不是搜索引擎。对于一个在Facebook群组中数以百万计的帖子和评论上训练过的模型来说，在支持社区中对问题的“自动补全”回答肯定是一个唤起个人经验并提供同理心的回答——就像在Facebook群组中“不买任何东西”的“自动补全”回答可能是给某人一个轻轻地用过的相机。
让聊天机器人保持在自己的车道上
这并不是说聊天机器人没有任何用处——它们甚至可能在某些在线社区、某些环境中非常有用。问题在于，在当前的生成式人工智能热潮中，人们倾向于认为聊天机器人可以而且应该做所有事情。
使用大型语言模型作为信息检索系统有很多缺点，这些缺点指出了不适合使用它们的上下文。一个缺点是，错误的信息可能是危险的:例如，饮食失调热线或小企业的法律咨询。
研究指出了如何以及何时设计和部署聊天机器人的重要考虑因素。例如，最近在一个大型人机交互会议上发表的一篇论文发现，尽管缺乏社会支持的LGBTQ+个体有时会向聊天机器人寻求心理健康需求的帮助，但这些聊天机器人往往无法把握LGBTQ+特定挑战的细微差别。
另一项研究发现，尽管一组自闭症参与者发现了与聊天机器人互动以获得社交建议的价值，但聊天机器人也提供了有问题的建议。还有一项研究发现，尽管聊天机器人在健康环境中作为会诊前工具是有帮助的，但患者有时会发现同情的表达是不真诚或冒犯的。
负责任的人工智能开发和部署意味着不仅要审核偏见和错误信息等问题，还要花时间了解人工智能在哪些情况下是合适的，对于将要与它们互动的人类来说是可取的。现在，许多公司把生成式人工智能当作锤子，结果，一切看起来都像钉子。
许多环境，如在线支持社区，最好留给人类。
公司提供 nversation
本文转载自The Co在知识共享许可下的对话。阅读原文。
