大多数关于人工智能(AI)伦理的研究都涉及到它在武器、运输或分析方面的应用。尽管一辆自主的、种族主义的坦克所带来的危险不能被低估，但这一切还有另一个方面。我们对自己创造的人工智能的责任呢?
大型多人在线角色扮演游戏(如《魔兽世界》)主要是由非玩家角色扮演的口袋现实。目前，这些角色还不是特别聪明，但50年后，他们就会变聪明了。
抱歉?50年还不够吗?需要500。需要5000000。我们有永生的时间来实现这个目标。
你想要行星大小的电脑?你可以拿去。你想要用人脑组织制作的电脑?你可以拿去。最终，我相信我们会有一个虚拟世界，里面的角色和我们一样聪明——如果不是更聪明的话——并且完全拥有自由意志。我们对这些存有的责任是什么?我们终究是他们所居住的现实的字面上的神，控制着他们世界的物理。我们可以对他们为所欲为。
知道了这些，我们应该吗?
自由意志的伦理困境
正如我在最近的一本书中所探讨的那样，每当涉及到“应该”时，道德就会介入并接管——甚至对于电子游戏也是如此。我们要问的第一个问题是，我们未来的游戏角色是否值得被视为道德实体，还是仅仅是数据库中的数据。如果是后者，我们就不必为它们感到良心不安，就像我们不必为文字处理器中的字符感到不安一样。
不过，这个问题实际上没有实际意义。如果我们把我们的角色塑造成自由思考的人，那么我们就必须把他们当作自由思考的人来对待——不管他们在外部观察者看来是怎样的。
既然如此，我们能关掉虚拟世界吗?这样做可能会导致数十亿智能生物的消失。然而，如果我们在毁灭他们世界的那一刻拯救了他们世界的一个副本，这样可以吗?理论上说，我们可以让他们的世界恢复到原来的样子，这是否意味着我们并没有谋杀他们?如果我们没有原始的游戏软件怎么办?
我们能合理地让这些角色受苦吗?我们自己执行了这一理念，所以这并不是一个关于是否可以折磨他们的问题，而是关于折磨他们是否是一件事。在现代社会中，人们的默认立场是，让自由思想的人受苦是不道德的，除非他们同意这样做，或者是为了把他们(或其他人)从更糟糕的事情中拯救出来。我们不能要求我们的角色同意出生在一个痛苦的世界——当我们创造游戏时，他们将不存在。
那么，“更糟糕的事情”呢?如果你拥有自由意志，你就必须是有智慧的，因此你自己也必须是有道德的。这意味着你必须有道德修养，所以坏事一定有可能发生在你身上。否则，你不可能思考什么是对什么是错来发展你的道德。换句话说，除非坏事发生，否则没有自由意志。从一个存在中去除自由意志等同于摧毁它之前的存在，因此，是的，我们必须允许痛苦或者智慧人格的概念是一个矛盾修辞法。
来世吗?
接受我们未来的角色是自由思考的生物，那么他们在重要等级中处于什么位置呢?一般来说，如果让人们直接在拯救一个有智慧的生物(比如一个蹒跚学步的小孩)和一个只有知觉的生物(比如一条狗)之间做出选择，人们会选择前者而不是后者。如果在拯救一只真正的狗或一个虚拟的圣人之间做出类似的选择，谁会胜出?
记住，如果你的角色认为自己是有道德的人，但你却不这么认为，他们会认为你是个混蛋。就像《最终幻想XIV》中的角色Alphinaud Leveilleur所说的:“我们定义自己的价值，而不是我们所创造的环境!”
我们要让自己的角色死去吗?执行这个概念需要额外的工作。如果他们能永生，我们是让他们变得无懈可击，还是仅仅阻止他们死亡?毕竟，掉进搅拌机里之后，生活就没那么有趣了。如果他们真的死了，我们是将他们转移到游戏天堂(或地狱)，还是直接抹去他们?
这些不是我们能问的唯一问题。我们能把想法植入他们的大脑吗?我们能改变他们的世界，来惹他们吗?我们是把自己的道德强加给他们，还是让他们发展自己的道德(我们可能不同意)?还有更多。
最终，最大的问题是:我们是否应该在一开始就创造有智慧的角色?
现在你会注意到我在这里问了很多问题。你可能很想知道答案是什么。
好吧，我也是!这就是这个练习的意义所在。人类还没有一个道德框架来创造我们是神的现实。目前还没有元伦理学体系来帮助我们。我们需要解决这个问题，在我们建造世界之前，无论50、500、500万年后，还是明天，我们都需要解决这个问题。这些都是需要你回答的问题。
不过，要注意你怎么做。你可以开个先例。
我们自己就是现实中的非玩家角色。
