我们可能面临一个极其困难的问题，而且不知道需要多长时间来解决它，整个人类的未来很可能就取决于这个问题。——Nick Bostrom

欢迎来到“等等，这怎么可能是我正在读的东西，我不明白为什么不是每个人都在谈论这个”的系列文章的第二部分。

第一部分开始得相当平常，我们讨论了狭义人工智能，或称为ANI（专门从事一个狭窄任务的人工智能，比如制定驾驶路线或下棋），以及它如何在当今世界中无处不在。然后我们探讨了为什么从ANI发展到人工通用智能，或称为AGI（在各个领域至少与人类智能相当的人工智能），是一个巨大的挑战，并且我们讨论了为什么过去我们所见证的技术进步的指数级增长暗示AGI可能并不像看上去那么遥远。第一部分以我用这个事实攻击你结束：一旦我们的机器达到人类智能水平，它们可能会立即做这件事：

这让我们凝视着屏幕，面对潜在地在我们有生之年出现的人工超级智能（ASI，即比任何人都要智能得多的AI）这一强烈的概念，我们试图弄清楚在思考这个问题时我们应该表现出哪种情绪①。

在我们深入探讨之前，让我们提醒自己，机器变得超级智能意味着什么。

一个关键的区别是速度超级智能和质量超级智能之间的差异。通常，当人们想象一个超级智能的电脑时，他们的第一个想法是一个与人类一样智能但思考速度快得多的电脑②——他们可能会想象一台像人类一样思考，但速度快上百万倍的机器，这意味着它能在五分钟内完成一个人需要十年才能完成的事情。

这听起来很令人印象深刻，而ASI的确会比任何人类思考得更快——但真正的区别将是它在智能质量上的优势，这是完全不同的东西。人类比黑猩猩在智力上更有能力并不是因为思考速度的差异——而是因为人类大脑包含了许多复杂的认知模块，使得我们能够进行复杂的语言表达、长期规划或抽象推理，而黑猩猩的大脑则不具备。将黑猩猩的大脑速度提高数千倍也不会使他达到我们的水平——即使有十年的时间，他也无法弄清楚如何使用一套定制的工具来组装一个复杂的模型，而人类只需要几小时就能完成。黑猩猩永远无法理解的是人类认知功能的诸多领域，无论他花多少时间尝试。

但不仅仅是黑猩猩无法做我们能做的事，他的大脑也无法理解这些世界甚至存在——黑猩猩可以熟悉人类是什么，摩天大楼是什么，但他永远无法理解摩天大楼是由人类建造的。在他的世界里，任何如此巨大的东西都是自然界的一部分，而且不仅他无法建造摩天大楼，他甚至无法意识到任何人都可以建造摩天大楼。这是智能质量微小差异的结果。

而在我们今天讨论的智能范围中，甚至是在生物生物之间更小的范围内，黑猩猩与人类之间的质量智能差距是微小的。在早期的文章中，我用楼梯来描述生物认知能力的范围：③

为了理解超级智能机器的重要性，想象它位于那个阶梯上，比人类高两级的深绿色台阶上。这台机器只是略微超级智能，但它相对于我们的认知能力的提升，就像我们刚刚描述的黑猩猩与人类之间的差距那样巨大。就像黑猩猩永远无法理解摩天大楼可以被建造一样，我们永远无法甚至理解深绿色台阶上的机器能做的事情，即使这台机器试图向我们解释——更不用说自己去做了。而那只是比我们高出两级。在那个楼梯上倒数第二高的台阶上的机器对我们来说，就像我们对蚂蚁一样——它可能花费数年时间教我们它所知道的最简单的一点点东西，但这种努力将是徒劳的。

但我们今天讨论的超级智能类型远远超出这个楼梯上的任何东西。在智能爆炸中——随着机器变得更聪明，它能够更快地提高自己的智能，直到它开始飞速上升——一台机器可能需要数年时间从黑猩猩的台阶上升到它上面的台阶，但一旦它到达比我们高出两级的深绿色台阶，可能只需要几个小时就能跳上一级，而当它比我们高出十级时，它可能每秒钟都在以四级的速度跳跃。这就是为什么我们需要意识到，很可能在关于第一台达到人类级别的通用人工智能的大新闻故事之后不久，我们可能就要面对与某种存在于这个楼梯上（或者可能高出一百万倍）的实体共存在地球上的现实。（探路者Nexus注：翻译到这里突然联想到当年围棋八冠王柯洁被AlphaGo三比零横扫以后直接道心破碎，跑到直播网站当杰宝了[无意冒犯]。实际上对战AlphaGo是分几个版本的，对战樊麾的AlphaGo Fan等级分为3144，对战李世石的AlphaGo Lee等级分约为3739，对战柯洁的AlphaGo Master等级分为4858。当时李世石等级分为3538分，人类第一的柯洁等级分大概为3671分，Master对战柯洁如此之大差距简直就是降维打击。然而这些版本都是训练于人类的棋谱，后来Deep Mind又开发了AlphaGo Zero版本，这个Zero就是说在不借助人类棋谱的情况下从零开始学习，AlphaGo Zero的核心思想是用强化学习的方法实现自我对弈和自我训练，AlphaGo Zero 训练72小时后可以100:0击败AlphaGo Lee，训练了30天后超越了AlphaGo Master，40天后等级分达到恐怖的5185分，这效率更是惹人深思，其中更有意思的现象是随着训练时间的增加对棋局结果的预测强化学习逐渐超越了监督学习，监督学习对人类下一步落棋点的预测更准确但对棋局的预测更差，这说明了什么？人类的棋谱拖累了人工智能的后腿。）

进化在数亿年的时间里缓慢

既然我们已经确定试图理解仅比我们高出两级的机器的力量是一种无望的活动，那么我们就非常具体地一劳永逸地声明，我们无法知道ASI将会做什么，也无法知道这对我们将产生什么后果。 任何假装知道的人都不理解超级智能的意义。

进化在数亿年的时间里缓慢而逐渐地推进了生物大脑的发展，在这个意义上，如果人类诞生了一台ASI机器，我们将会戏剧性地践踏进化。或者也许这是进化的一部分——也许进化的方式是智能逐渐增加，直到达到能够创造机器超级智能的水平，而那个水平就像是触发一场全球性游戏改变性爆炸的绊线，这场爆炸决定了所有生物的新未来：

考虑到我们稍后将讨论的原因，科学界的很大一部分人士相信，问题不在于我们是否会触发那个绊线，而在于何时触发。这是一个相当疯狂的信息。

那么这对我们意味着什么呢？

好吧，世界上没有人，尤其不是我，能告诉你当我们触发那个绊线时会发生什么。但牛津哲学家和领先的人工智能思考者尼克·波斯特罗姆（Nick Bostrom）认为，我们可以将所有潜在的结果归纳为两大类别。

首先，从历史上看，我们可以看到生命是这样运作的：物种出现，存在一段时间，然后经过一段时间，不可避免地，它们从生存的平衡木上掉下来，落入灭绝——

“所有物种最终都会灭绝”这一规则在历史上几乎和“所有人类最终都会死亡”一样可靠。到目前为止，99.9%的物种已经从平衡木上掉落，并且看起来很明显，如果一个物种继续在平衡木上摇摆，那么只是时间问题，其他物种、自然的一阵风，或者突然的震动平衡木的小行星就会将它击落。波斯特罗姆称灭绝为一个吸引状态——一个所有物种都濒临坠入的状态，而且没有任何物种能够从中返回。

虽然我遇到的大多数科学家都承认ASI将有能力使人类灭绝，但许多人也相信，如果有益地使用，ASI的能力可以被用来将个别人类，以及整个物种，带入第二个吸引状态——物种的不朽。波斯特罗姆认为物种不朽和物种灭绝一样，都是吸引状态，即如果我们设法到达那里，我们将永远不受灭绝的影响——我们将征服了死亡和偶然性。因此，尽管到目前为止所有物种都从平衡木上掉落并降落到灭绝的境地，波斯特罗姆认为平衡木有两面，只是地球上还没有足够智能的东西能够弄清楚如何从另一面掉落。

如果波斯特罗姆和其他人是对的，而且从我所阅读的一切来看，他们似乎真的可能是对的，那么我们有两个相当令人震惊的事实需要理解：

1）ASI的出现将首次为物种打开降落在平衡木不朽一侧的可能性。

2）ASI的出现将产生如此难以想象的巨大影响，以至于它可能会将人类从平衡木上推向一方或另一方。

当进化触发绊线时，它可能永久结束人类与平衡木的关系，并创造一个有或没有人类的新世界。

这似乎就像是当前任何人类应该提出的唯一问题：我们什么时候会触发绊线，当这发生时我们将降落在平衡木的哪一侧？

世界上没有人知道这个问题的任何一部分的答案，但许多非常聪明的人已经思考了几十年。我们将花费本文的剩余部分探索他们提出的观点。

让我们从问题的第一部分开始：我们什么时候会触发绊线？

即，第一台机器达到超级智能还需要多久？

并不令人震惊的是，意见差异巨大，这在科学家和思想家中是一个激烈的辩论话题。许多人，如教授Vernor Vinge，科学家Ben Goertzel，Sun Microsystems联合创始人Bill Joy，或者最著名的发明家和未来学家Ray Kurzweil，都同意机器学习专家杰里米·霍华德（Jeremy Howard）在TED演讲中展示的这个图表：

这些人认为，这种情况即将发生——指数增长正在发挥作用，而且尽管机器学习目前只是缓慢地接近我们，但在未来几十年内，它将迅速超越我们。

另一些人，比如微软联合创始人保罗·艾伦，研究心理学家加里·马库斯，纽约大学计算机科学家欧内斯特·戴维斯，和科技企业家米奇·卡普，认为像库兹韦尔这样的思考者大大低估了挑战的程度，认为我们实际上并不接近绊线。

库兹韦尔阵营会反驳，认为唯一被低估的是对指数增长的不够重视，他们会将怀疑者比作那些在1985年看着互联网缓慢生长的幼苗并争辩说，不可能在不久的将来产生重大影响的人。

怀疑者可能会反驳说，实现智能进步所需的进展也随着每一个后续步骤而呈指数级地变得更加困难，这将抵消技术进步的典型指数特性。等等。

第三个阵营，包括尼克·波斯特罗姆在内，认为两个组别都没有确切的依据来确定时间表，并承认 A)这完全可能在不久的将来发生，以及 B)关于这一点并没有保证；这也可能需要更长的时间。

还有其他人，如哲学家休伯特·德雷福斯，认为这三个组都是天真的，因为他们认为绊线甚至存在，争辩说ASI可能根本不会实现。

那么，当你把所有这些观点放在一起会得到什么？

2013年，文森特·C·穆勒（Vincent C. Müller）和尼克·波斯特罗姆（Nick Bostrom）进行了一项调查，询问了在一系列会议上的数百名人工智能专家以下问题：“对于这个问题，假设人类的科学活动继续进行，没有遇到重大负面干扰。您认为实现这种HLMI④的概率（10%/50%/90%）会出现在哪一年？”调查要求他们命名一个乐观的年份（他们认为我们有10%的机会实现AGI的年份）、一个现实的猜测（他们认为有50%的机会实现AGI的年份——即在那一年之后，他们认为我们实现AGI的可能性大于不实现）和一个安全的猜测（他们可以90%确定我们将实现AGI的最早年份）。汇总在一起作为一个数据集，结果如下：

中位数乐观年份（10%可能性）：2022年

中位数现实年份（50%可能性）：2040年

中位数悲观年份（90%可能性）：2075年

因此，中位参与者认为我们在25年内实现AGI的可能性大于不实现。90%中位数的2075年意味着，如果你现在是一个青少年，那么中位受访者以及超过一半的人工智能专家几乎肯定AGI将在你的一生中发生。

作者詹姆斯·巴拉特（James Barrat）在本·戈尔策尔（Ben Goertzel）的年度AGI会议上进行的另一项独立研究，省略了百分比，只是询问参与者何时认为AGI将实现——到2030年、到2050年、到2100年、2100年之后，还是永远不会。结果如下：

到2030年：42%的受访者

到2050年：25%

到2100年：20%

2100年之后：10%

永远不会：2%

与穆勒和波斯特罗姆的结果相似。在巴拉特的调查中，超过三分之二的参与者认为AGI将在2050年之前到来，略低于一半的人预测AGI将在未来15年内实现。同样引人注目的是，只有2%的受访者认为AGI不是我们未来的一部分。

但AGI不是绊线，ASI才是。那么专家们认为我们何时将达到ASI呢？

穆勒和波斯特罗姆还询问了专家们认为达到ASI的可能性有多大？ A)在达到AGI后的两年内（即几乎立即的智能爆炸），以及 B)30年内。结果如下：

中位数的答案认为迅速（2年内）AGI → ASI的过渡只有10%的可能性，但更长时间（30年或更短）的过渡可能性为75%。

从这些数据中我们不知道中位参与者对50%可能性的过渡长度会是多少，但基于上述两个答案，为了估算目的，让我们估计他们会说20年。因此，中位意见——即人工智能专家世界中心的观点——认为我们达到ASI绊线的最现实猜测是[2040年预测AGI + 我们估计的从AGI到ASI的20年过渡期] = 2060年。

当然，所有上述统计数据都是推测性的，它们只代表了人工智能专家社区中心意见的反映，但它告诉我们，大部分了解这个话题最多的人会同意，2060年是一个非常合理的估计，届时可能会改变世界的ASI（人工超级智能）将到来。从现在起只有45年。

好的，那么关于上面问题的第二部分：当我们触发绊线时，我们将落在平衡木的哪一侧？

谁或什么将控制这种力量，他们的动机是什么？

这个问题的答案将决定ASI是一个难以置信的伟大发展，一个难以想象的可怕发展，或者介于两者之间的某种发展。

当然，专家社区再次在这个问题的答案上意见不一，并且进行了激烈的辩论。穆勒和波斯特罗姆的调查要求参与者对AGI对人类可能产生的影响分配概率，并发现平均响应是，结果将是好的或极好的概率为52%，结果将是坏的或极坏的概率为31%。对于相对中性的结果，平均概率只有17%。换句话说，最了解这个问题的人相当确定这将是一个重大事件。值得注意的是，这些数字指的是AGI的出现——如果问题是关于ASI，我想中性百分比甚至会更低。

在我们更深入探讨这个好与坏的结果问题之前，让我们将“它何时会发生？”和“它是好是坏？”这两个问题合并成一个图表，涵盖了大多数相关专家的观点：

我们稍后会更多地讨论主要阵营，但首先——你的观点是什么？实际上我知道你的观点，因为在我开始研究这个主题之前，那也是我的观点。大多数人没有真正思考这个话题的一些原因：

• 正如在第一部分中提到的，电影通过展示不现实的AI场景，确实让人感到困惑，使我们觉得AI总体上不是一个需要认真对待的事情。詹姆斯·巴拉特将这种情况比作我们对疾病控制中心就未来可能出现的吸血鬼发出严肃警告的反应。
• 人类在看到证据之前很难相信某事是真实的。我敢肯定，1988年的计算机科学家经常讨论互联网可能会有多大的影响，但人们可能在互联网真正改变了他们的生活之前并不真正认为它会改变他们的生活。这部分是因为1988年的计算机根本做不到那样的事情，所以人们会看着他们的电脑并想，“真的吗？那会改变生活？”他们的想象力受限于他们个人经验教会他们的关于电脑是什么的认知，这使得他们很难生动地想象电脑可能变成什么样子。现在对于AI也是同样的情况。我们听说它将是一件大事，但因为它还没有发生，再加上我们对当前世界相对无能为力的AI的经验，我们很难真正相信这将戏剧性地改变我们的生活。这些偏见正是专家们在试图通过集体日常自我沉浸的噪音来吸引我们注意时所面临的挑战。
• 即使我们相信它——你今天有多少次想到你将在剩余的大部分永恒中不存在？不多，对吧？即使这是比你今天做的任何事情都更激烈的事实？这是因为我们的大脑通常专注于日常生活中的小事情，不管我们是多么疯狂地参与一种长期情况。这就是我们的思维方式。

这两篇文章的目标之一是让你走出“我喜欢思考其他事情”的阵营，进入专家阵营之一，即使你只是站在上方方框中两条虚线的交点上，完全不确定。

在我的研究过程中，我遇到了许多关于这个话题的不同意见，但我很快注意到，大多数人的意见都落在我所标记的主要阵营中，特别是超过四分之三的专家分布在主要阵营内的两个子阵营中：

我们将深入探讨这两个阵营。让我们从有趣的那一个开始——

为什么未来可能是我们最伟大的梦想

在我了解人工智能的世界时，我发现意外地有许多人站在这里：

自信角落的人们充满了兴奋。他们将目光投向平衡木的有趣一侧，并坚信我们所有人都将走向那里。对他们来说，未来是他们所能希望的一切，正好及时到来。

这些人与我们稍后将讨论的其他思考者不同的是，他们对平衡木快乐一侧的渴望——他们对我们将落在那一侧充满了信心。

这种信心从何而来尚有争议。批评者认为，它来自于如此盲目的兴奋，以至于他们简单地忽视或否认潜在的负面结果。但信仰者说，当总体上，技术过去有并且可能继续帮助我们远远超过伤害我们，提出世界末日的情景是天真的。

我们将讨论双方观点，你可以在阅读时形成自己的看法，但在这一部分，收起你的怀疑，让我们仔细看看平衡木有趣一侧的内容——并试图吸收你所阅读的内容可能真的会发生。如果你向一个狩猎采集者展示我们的室内舒适、技术和无尽丰富的世界，对他来说这会看起来像虚构的魔法——我们必须谦逊地承认，同样难以想象的转变可能在我们的未来。

尼克·波斯特罗姆描述了一个超级智能AI系统可以如何运作的三种方式：

• 作为一个神谕，它几乎可以准确地回答提出的任何问题，包括人类难以轻易回答的复杂问题——比如如何制造更高效的汽车引擎？ 谷歌是一种原始类型的神谕。
• 作为一个神灯精灵，它执行给予的任何高级命令——使用分子组装器构建一种新的、更高效的汽车引擎——然后等待下一个命令。
• 作为一个主权者，被分配一个广泛和开放式的追求，并被允许在世界上自由运作，自行决定如何最好地进行——发明一种比汽车更快、更便宜、更安全的人类私人交通方式。

这些问题和任务，对我们来说看起来复杂，对一个超级智能系统来说，就像有人让你改进“我的铅笔掉到桌子下”的情况一样，你会通过捡起来并放回桌子上来做到。

居住在我们上面图表中焦虑大道的埃利泽·尤德科夫斯基说得很好：

没有难题，只有对某一智能水平来说难的问题。智能水平稍微上升一点点，一些问题就会突然从“不可能”变成“显而易见”。智能水平大幅上升，所有问题都将变得显而易见。

在自信角（Confident Corner）有许多热心的科学家、发明家和企业家，但要想了解人工智能前景中最光明的一面，我们只想要一个人作为我们的导游。

雷·库兹韦尔是一个引起争议的人物。在我的阅读中，我听到了对他和他的想法的各种评价，从对他几乎如神般的崇拜到对他们的不屑一顾。其他人则处于中间态度——作家道格拉斯·霍夫斯塔特在讨论库兹韦尔书中的观点时，雄辩地提出：“这就好比你拿了很多非常好的食物和一些狗屎混合在一起，以至于你根本分辨不出什么是好的或坏的。”

无论你是否喜欢他的观点，所有人都同意库兹韦尔是令人印象深刻的。他从青少年时代开始发明东西，在接下来的几十年里，他提出了几项突破性的发明，包括第一台平板扫描仪、第一台将文本转换为语音的扫描仪（让盲人能阅读标准文本）、著名的库兹韦尔音乐合成器（第一架真正的电子钢琴）和第一台商业化的大词汇量语音识别。他是五本全国畅销书的作者。他以大胆的预测而闻名，并且在预测实现方面有相当不错的记录，包括他在80年代晚期的预测，在那时互联网还是一个晦涩的事物，他预测到2000年代初，它将成为一个全球现象。库兹韦尔被《华尔街日报》称为“不安分的天才”，被《福布斯》杂志称为“终极思考机器”，被《Inc.杂志》称为“爱迪生的合法继承者”，被比尔·盖茨称为“我所知道的预测人工智能未来最好的人”。Ⅸ 2012年，谷歌联合创始人拉里·佩奇邀请库兹韦尔担任谷歌的工程总监。⑤ 2011年，他共同创立了奇点大学，该大学由NASA主办，部分由谷歌赞助。对于一个人的一生来说，这并不差。

这个传记很重要。当库兹韦尔阐述他对未来的看法时，他听起来完全像一个疯子，而疯狂的是，他不是——他是一个极其聪明、知识渊博、在世界上具有相关性的人。你可能认为他对未来的看法是错误的，但他不是一个傻瓜。知道他是一个如此合法的人让我感到高兴，因为当我了解到他对未来的预测时，我非常希望他是对的。你也一样。当你听到库兹韦尔的预测时，许多由彼得·迪亚曼蒂斯和本·戈尔泽尔等其他自信角思想家共享的观点，不难看出为什么他有如此庞大、热情的追随者——被称为奇点主义者。以下是他认为将会发生的事情：

时间线

库兹韦尔认为，到2029年，计算机将达到通用人工智能（AGI），到2045年，我们不仅会拥有超级智能（ASI），还会拥有一个全新的世界——他称之为奇点。他与人工智能相关的时间线过去被视为过分激进，现在仍然被许多人如此看待，6但在过去的15年里，ANI系统的快速进步使得更广泛的人工智能专家界接近库兹韦尔的时间线。他的预测仍然比穆勒和博斯特罗姆调查中的中位数受访者（2040年达到AGI，2060年达到ASI）更具雄心，但并不是太多。

库兹韦尔对2045年奇点的描绘是由生物技术、纳米技术和最强大的人工智能三个同时发生的革命带来的。

在我们继续之前——纳米技术几乎出现在你读到的关于人工智能未来的所有内容中，所以请进入这个蓝色方框，我们可以讨论一下——

纳米技术专题

纳米技术是我们用来描述处理1到100纳米大小物质的技术的词。纳米是一米的十亿分之一，或一毫米的百万分之一，这个1-100范围包括病毒（100纳米宽）、DNA（10纳米宽）和像血红蛋白（5纳米）这样的大分子和像葡萄糖（1纳米）这样的中分子。如果/当我们征服纳米技术，下一步将是操纵单个原子的能力，它们只比较小一个数量级（约0.1纳米）。⑦

为了理解人类试图操纵这个范围内物质的挑战，让我们以更大的规模来看同样的事情。国际空间站距离地球268英里（431公里）。如果人类是巨人，他们的头部达到国际空间站，那么他们将比现在大约25万倍。如果你将1纳米 -100纳米的纳米技术范围放大25万倍，你得到的是0.25毫米 -2.5厘米。因此，纳米技术相当于一个高度达到国际空间站的人类巨人，他们正在学习如何使用沙粒和眼球大小之间的材料仔细构建复杂的物体。要达到下一个层次——操纵单个原子——巨人将不得不仔细定位1/40毫米大小的物体——这么小以至于正常大小的人类需要显微镜才能看到它们。⑧

纳米技术最初由理查德·费曼在1959年的一次演讲中讨论，当时他解释说：“据我所见，物理学的原理并不排除逐个操纵原子的可能性。原则上，这是可能的……对于物理学家来说，合成化学家所写下的任何化学物质都是可能的……怎么做呢？按照化学家的指示放置原子，这样你就制造出了那种物质。”就这么简单。如果你能弄清楚如何移动单个分子或原子，你就可以制造出任何东西。

纳米技术在1986年首次成为一个严肃的领域，当时工程师埃里克·德雷克斯勒在其开创性著作《创造之引擎》中为其奠定了基础，但德雷克斯勒建议，那些希望了解纳米技术最现代思想的人最好阅读他2013年的书《激进的富足》。

纳米技术专题分支

我们现在正处于一个“分支中的分支”。这很有趣。⑨

无论如何，我带你来这里是因为有一个关于纳米技术传说中非常不好笑的部分我需要告诉你。在早期的纳米技术理论中，一种提出的纳米组装方法涉及创造数万亿个微小的纳米机器人，这些机器人共同工作以构建某物。创造数万亿纳米机器人的一种方法是制造一个能自我复制的机器人，然后让复制过程把一个变成两个，两个变成四个，四个变成八个，大约一天后，就有几万亿个准备就绪。这就是指数增长的力量。聪明，对吧？

这种聪明直到它不小心导致了宏大而完整的全球灾难。问题在于，使得快速创造万亿纳米机器人变得超级方便的同一个指数增长力量，也使得自我复制成为一个恐怖的前景。因为如果系统出现故障，而不是在总数达到几万亿时如预期停止复制，而是继续复制呢？纳米机器人将被设计为消耗任何碳基材料以维持复制过程，不幸的是，所有生命都是基于碳的。地球生物量包含大约10^45个碳原子。一个纳米机器人将由大约10^6个碳原子组成，所以10^39个纳米机器人会消耗地球上所有生命，这将在130次复制中发生（2^130约等于10^39），因为成海洋的纳米机器人（即灰色软泥）滚滚而来。科学家认为纳米机器人大约每100秒复制一次，这意味着这个简单的错误会在3.5小时内不方便地结束地球上所有生命。

更糟糕的情况是——如果恐怖分子以某种方式掌握了纳米机器人技术并且知道如何编程它们，他可以制造初始的几万亿个，并编程它们悄悄地花几周时间在全世界无人察觉地均匀传播。然后，它们将同时发动攻击，只需90分钟就可以消耗一切——而且由于它们都分散开来，将无法对抗它们。

尽管这个恐怖故事多年来一直被广泛讨论，但好消息是，它可能被夸大了——提出“灰色软泥”一词的埃里克·德雷克斯勒在这篇文章发表后给我发送了一封电子邮件，分享了他对灰色软泥情景的看法：“人们喜欢恐怖故事，而这个故事就像僵尸一样。这个想法本身就在吞噬大脑。”

一旦我们真正掌握了纳米技术，我们可以利用它来制造技术设备、服装、食物、各种生物相关产品——人造血细胞、微型病毒或癌细胞破坏者、肌肉组织等——几乎什么都可以。在一个使用纳米技术的世界中，材料的成本不再与其稀缺性或制造过程的难度挂钩，而是取决于其原子结构的复杂程度。在纳米技术世界中，钻石可能比橡皮擦便宜。

我们还没到那里。目前还不清楚我们是低估了还是高估了到达那里的难度。但我们似乎并不遥远。库兹韦尔预测我们将在2020年代到达那里。XI 政府知道纳米技术可能是一个颠覆性的发展，他们已经在纳米技术研究上投入了数十亿美元（到目前为止，美国、欧盟和日本已经投资了超过50亿美元）。

仅仅考虑一台超级智能计算机拥有强大的纳米级组装器的可能性就很激动人心。但纳米技术是我们想出来的，我们即将征服它，而且既然我们能做的任何事对于一个ASI系统来说都是小菜一碟，我们必须假设ASI会发明出更加强大、对人类大脑来说过于先进的技术。因此，在考虑“如果人工智能革命对我们有利”这一场景时，我们几乎不可能高估可能发生的事情的范围——所以如果接下来对ASI未来的预测看起来过于夸张，请记住，这些可能以我们无法想象的方式实现。最有可能的是，我们的大脑甚至无法预测将会发生的事情。

人工智能能为我们做什么

配备了超级智能和所有超级智能所能创造的技术，ASI很可能能够解决人类面临的每一个问题。全球变暖？ASI首先能通过发明与化石燃料无关的更好的能源生成方法来停止二氧化碳排放。然后它可以创造一种创新方法开始从大气中移除过量的二氧化碳。癌症和其他疾病？对ASI来说不是问题——健康和医学将被超乎想象地革新。世界饥饿？ASI可以利用纳米技术从头构建与真正肉类分子上完全相同的肉——换句话说，它就是真正的肉。纳米技术可以将一堆垃圾变成一大桶新鲜的肉或其他食物（不必保持其正常形状——想象一下一个巨大的苹果方块）——并利用超先进的交通工具将所有这些食物分发到世界各地。当然，这对动物也很好，因为它们不再需要被人类杀害，ASI还可以做很多其他事情来拯救濒危物种甚至通过保存的DNA重新带回灭绝物种。ASI甚至可以解决我们最复杂的宏观问题——我们对经济应该如何运行以及世界贸易如何最好地促进的辩论，甚至我们在哲学或伦理学上最模糊的挣扎——对ASI来说都是显而易见的。

但有一件事ASI能为我们做的是如此诱人，以至于了解它改变了我对一切的看法：

ASI可以让我们征服我们的死亡。

几个月前，我提到了我对那些已经征服了自身死亡的更先进的潜在文明的羡慕，从未考虑过我可能会写一篇让我真正相信这是人类在我有生之年能做到的事情的帖子。但是阅读关于人工智能的内容会让你重新考虑你所确信的一切——包括你对死亡的看法。

进化没有充分的理由延长我们的寿命超过现在的长度。如果我们活得足够长以繁殖并抚养我们的孩子到他们能够自行照顾自己的年龄，那对进化来说就足够了——从进化的角度来看，物种可以在30多岁的寿命中繁荣，所以没有理由让通向异常长寿的突变在自然选择过程中被青睐。结果，我们就是W.B. Yeats所描述的“绑定在垂死动物上的灵魂”。不那么有趣。

由于每个人都会死亡，我们生活在“死亡和税收”的假设下，认为死亡是不可避免的。我们认为衰老就像时间一样——两者都在前进，你无法停止它们。但这种假设是错误的。Richard Feynman写道：

在所有的生物科学中，最令人惊奇的是没有任何迹象表明死亡是必然的。如果你说我们想要制造永动机，我们已经发现了足够多的物理学定律，看起来要么是绝对不可能的，要么就是定律有误。但在生物学中还没有发现任何表明死亡不可避免的迹象。这让我认为它根本不是不可避免的，只是生物学家还没有发现导致我们这种困扰的问题，这种人类身体的普遍短暂性疾病终将被治愈。

事实上，衰老并不固定于时间。时间会继续前进，但衰老不必如此。如果你仔细想想，这是有道理的。衰老只是身体物质的磨损。汽车随着时间的推移也会磨损——但它的衰老是不可避免的吗？如果你完美地修复或更换汽车的零件，每当其中一个开始磨损时，汽车就会永远运行。人体也不例外——只是复杂得多。

Kurzweil谈到了连接智能wifi的纳米机器人在血液中可以执行无数有益于人类健康的任务，包括定期修复或更换任何身体部位磨损的细胞。如果完善了这个过程（或ASI会想出的更聪明的过程），不仅仅是保持身体健康，它还可以逆转衰老。60岁的身体和30岁的身体之间的区别只是一些可以改变的物理事物，如果我们拥有技术的话。ASI可以建造一个“年龄刷新器”，一个60岁的人可以走进去，然后以30岁的身体和皮肤走出来。⑩ 即使是令人困惑的大脑也可以被像ASI这样聪明的东西刷新，它会找出如何做到这一点而不影响大脑的数据（个性、记忆等）。一个患有痴呆症的90岁老人可以走进年龄刷新器，然后清醒如初，准备开始一个全新的职业生涯。这看起来荒谬——但身体只是一堆原子，ASI理应能够轻易地操纵各种原子结构——所以这并不荒谬。

Kurzweil接着更进一步。他相信随着时间的推移，人工材料将越来越多地融入人体。首先，器官可以被超级先进的机器版本所替换，这些版本将永远运行且不会失败。然后他相信我们可以开始重新设计身体——比如用能够自行供能的完美红细胞纳米机器人来替换红细胞，从而根本不需要心脏。 他甚至谈到了大脑，认为我们将增强我们的大脑活动，到那时人类将能够思考的速度比现在快数十亿倍，并能够访问外部信息，因为大脑中的人工添加物将能够与云中的所有信息进行通信。

人类体验的可能性将会无穷无尽。人类已经将性行为从其生殖目的中分离出来，允许人们为了乐趣而不仅仅是为了生育来进行性行为。Kurzweil相信，我们将能够对食物做同样的事情。纳米机器人将负责向身体的细胞输送完美的营养，智能地引导任何不健康的物质通过身体而不影响任何事物。一种吃饭用的避孕套。纳米技术理论家Robert A. Freitas已经设计了血细胞替代品，如果有一天在身体中实施，将允许一个人连续冲刺15分钟而不需要呼吸——因此你只能想象ASI对我们身体能力的影响。虚拟现实将获得新的意义——身体中的纳米机器人可以抑制来自我们感官的输入，并用新的信号替换它们，将我们完全置于一个新环境中，一个我们能看到、听到、感受和嗅到的环境。

最终，Kurzweil相信人类将达到一个完全人造的点⑪；一个我们会看着生物材料，觉得人类曾经由那个构成是多么难以置信的原始；一个我们会阅读早期人类历史，当时微生物、事故、疾病或磨损可以随意杀死人类；一个AI革命可以通过将人类和AI融合而结束的时代⑫。这就是Kurzweil认为人类将最终征服我们的生物学，变得坚不可摧和永恒的愿景——这是他对平衡梁另一侧的看法。而且他确信我们很快就会到达那里。

你不会惊讶地得知Kurzweil的想法引起了大量批评。他预测2045年的奇点和随后的人类永生可能性被嘲笑为“书呆子的狂喜”，或“140智商人的智能设计”。其他人质疑了他乐观的时间表，或他对大脑和身体的理解程度，或他将通常应用于硬件进步的摩尔定律模式应用于广泛的事物，包括软件。对于每一个热情地相信Kurzweil正确的专家，可能有三个认为他完全错误的。

但令我惊讶的是，大多数不同意他的专家并不真的认为他所说的一切都是不可能的。阅读这样一个离奇的未来愿景，我本以为他的批评者会说，“显然那些事情不可能发生”，但他们反而说的是，“是的，如果我们安全地过渡到ASI，所有这些都可以发生，但那是困难的部分。”Bostrom，关于AI危险性警告中最突出的声音之一，仍然承认：

很难想到超级智能无法解决或至少帮助我们解决的任何问题。疾病、贫穷、环境破坏、各种不必要的痛苦：这些都是配备了先进纳米技术的超级智能能够消除的事物。此外，超级智能可以给我们无限的寿命，要么通过使用纳米医学停止和逆转衰老过程，要么通过给我们上传自己的选择。超级智能还可以为我们创造大幅提高自己智力和情感能力的机会，它可以帮助我们创造一个我们可以过上专注于愉快的游戏、相互交流、体验、个人成长和更接近我们理想的生活的非常吸引人的体验世界。

这是来自一个绝对不在自信角落的人的引用，但这就是我不断遇到的——嘲笑Kurzweil的种种原因的专家们，但他们并不认为如果我们能安全地到达ASI，他所说的一切都是不可能的。这就是为什么我发现Kurzweil的想法如此有感染力——因为它们阐述了这个故事的光明面，而且它们实际上是可能的。如果它是一个好神。

我听到的对自信角落思想家最主要的批评是，他们对ASI的下行风险的评估可能是危险地错误的。Kurzweil著名的书奇点即将到来长达700多页，他只用了其中大约20页来讨论潜在危险。我之前提到，当这个巨大的新力量诞生时，我们的命运取决于谁将控制这种力量以及他们的动机将会是什么。Kurzweil简洁地回答了这个问题，用一句话说，“[ASI]正从许多不同的努力中浮现出来，将深度融入我们文明的基础设施。实际上，它将深深植入我们的身体和大脑。因此，它将反映我们的价值观，因为它将是我们。”

但如果这是答案，为什么世界上许多最聪明的人现在如此担忧呢？为什么斯蒂芬·霍金说人工智能超级智能（ASI）的发展“可能意味着人类的终结”，比尔·盖茨说他不“理解为什么有些人不担忧”，以及埃隆·马斯克担心我们正在“召唤恶魔”？为什么许多该领域的专家称ASI是对人类最大的威胁？这些人，以及在焦虑大道上的其他思考者，并不接受库兹韦尔对AI危险性的轻描淡写。他们对AI革命非常、非常担忧，并且他们不关注平衡木上的有趣一面。他们太忙于盯着另一面，在那里他们看到一个可怕的未来，一个他们不确定我们是否能逃脱。

为什么未来可能是我们最糟糕的噩梦

我想了解人工智能的原因之一是“坏机器人”的话题总是让我困惑。所有关于邪恶机器人的电影看起来完全不现实，我真的不理解怎么会有一个现实生活中AI实际上危险的情况。机器人是由我们制造的，那为什么我们会设计它们以一种可能发生负面事情的方式？难道我们不会内置足够的安全措施吗？我们难道不能随时切断AI系统的电源并将其关闭吗？为什么机器人会想做坏事？为什么机器人会“想要”任何东西？我非常怀疑。但后来我不断听到很聪明的人谈论它……

这些人往往在这里：

焦虑大道上的人们并不在惊慌平原或无望山丘——这些都是图表最左端的区域——但他们紧张且不安。处于图表中间并不意味着你认为人工超级智能（ASI）的到来将是中性的——中立者有自己的阵营——这意味着你认为极好和极坏的结果都是可信的，但你还不确定最终会是哪一个。

所有这些人中的一部分对人工超级智能能为我们做什么充满了兴奋——只是他们有点担心，这可能是《夺宝奇兵》的开始，而人类就是这个家伙：

他站在那里，手持鞭子和偶像，自以为已经全都搞明白了。当他说出他的‘Adios Señor’（再见，先生）这句话时，他对自己感到非常满意，但随后他的兴奋突然减少了，因为接下来发生了这件事。

与此同时，印第安纳·琼斯，一个更有知识和谨慎的人，了解危险以及如何绕过它们，安全地从洞穴中逃脱了。当我听到焦虑大道上的人们谈论人工智能时，他们的话听起来好像是在说：“嗯，我们现在有点像第一个家伙，而我们应该努力尝试成为印第安纳·琼斯。”

那么究竟是什么让焦虑大道上的每个人都如此焦虑呢？

首先，从广义上讲，当谈到开发超级智能AI时，我们正在创造一些可能会改变一切的东西，但这是完全未知的领域，我们对到达那里时会发生什么一无所知。科学家丹尼·希利斯将正在发生的事情比作“单细胞生物转变为多细胞生物的那个时刻。我们是变形虫，我们无法弄清楚我们正在创造的这个东西究竟是什么。”尼克·博斯特罗姆担忧创造比你更聪明的东西是基本的达尔文错误，并将对此的兴奋比作麻雀在巢中决定收养一只小猫头鹰，以便它长大后帮助并保护它们——同时忽略了一些麻雀的紧急呼喊，他们怀疑这是否真的是个好主意……

当你将“未知、不太了解的领域”与“这应该在发生时产生重大影响”结合起来时，你就打开了英语中最可怕的两个词的大门：

存在风险（Existential risk）

存在风险是指对人类有永久性破坏性影响的事物。通常情况下，存在风险意味着灭绝。看看博斯特罗姆在谷歌演讲中的这张图表：⑬

你可以看到，“存在风险”这个标签是为跨越物种、代代相传（即永久性的）并且其后果具有毁灭性或致死性的事物而保留的。⑭从技术上讲，它包括所有人类永久处于痛苦或折磨状态的情况，但通常我们谈论的是灭绝。有三件事情可以导致人类遭受存在性灾难：

1）自然——一次大型小行星撞击，大气层的变化使空气对人类不宜，一种在世界范围内蔓延的致命病毒或细菌病，等等。

2）外星人——这是斯蒂芬·霍金、卡尔·萨根和许多其他天文学家所害怕的，当他们建议METI停止广播外发信号时。他们不希望我们成为美洲原住民，并让所有潜在的欧洲征服者知道我们在这里。

3）人类——拥有能够导致灭绝的武器的恐怖分子，一场灾难性的全球战争，人类匆忙地创造出比自己更聪明的东西，而没有事先仔细思考……

博斯特罗姆指出，如果#1和#2在我们作为一个物种的前100,000年中还没有消灭我们，那么在下一个世纪发生的可能性不大。

然而，#3使他感到恐惧。他用一个装满许多弹珠的瓶子来打比方。假设大多数弹珠是白色的，较少数是红色的，而极少数是黑色的。每当人类发明新事物时，就像从瓶子中抽出一颗弹珠。大多数发明对人类是中性的或有帮助的——这些是白色弹珠。有些对人类有害，比如大规模毁灭性武器，但它们不会导致存在性灾难——红色弹珠。如果我们曾经发明了什么东西把我们推向灭绝，那将是抽出罕见的黑色弹珠。我们还没有抽出黑色弹珠——你知道，因为你还活着，正在阅读这篇文章。但博斯特罗姆认为，我们在不久的将来抽出一颗并不是不可能的。例如，如果核武器是容易制造的，而不是极其困难和复杂的，恐怖分子早就用核武器把人类炸回石器时代了。核武器不是黑色弹珠，但它们离它不远。博斯特罗姆认为，ASI是我们迄今为止最有力的黑色弹珠候选者。⑮

因此，你会听到很多关于ASI可能带来的坏事——随着AI接管越来越多的工作，失业率飙升，⑯，如果我们确实设法解决了衰老问题，人口会激增，⑰等等。但我们唯一应该迷恋的是重大关切：存在风险的前景。

因此，这让我们回到了文章早期的关键问题：当ASI到来时，谁或什么将控制这种巨大的新力量，他们的动机是什么？

在哪些代理人-动机组合会糟糕的问题上，两个很快就浮现在脑海中：恶意的人类/人类群体/政府，和恶意的ASI。那么这些会是什么样子的？

一个恶意的人类、人类群体或政府开发了第一个ASI，并使用它来实现他们的邪恶计划。 我称之为贾法尔情景，就像贾法尔得到了精灵并变得讨厌和专制一样。所以是的——如果ISIS有一些天才工程师在其麾下热切地从事AI开发呢？或者如果伊朗或朝鲜通过一次幸运的尝试对AI系统进行了关键调整，并且在接下来的一年内迅速提升到ASI级别呢？这肯定是不好的——但在这些情景中，大多数专家并不担心ASI的人类创造者会用他们的ASI做坏事，他们担心的是创造者会急于 制造第一个ASI而没有事先仔细考虑，因此会失去对它的控制。然后这些创造者的命运，以及其他所有人的命运，将取决于那个ASI系统恰好有什么动机。专家确实认为恶意的人类代理可以用ASI为它工作造成可怕的破坏，但他们似乎不认为这种情况是最可能杀死我们所有人的，因为他们相信坏人在控制ASI方面会遇到和好人一样的问题。好吧，所以——

一个恶意的ASI被创造出来并决定消灭我们所有人。 每部AI电影的情节。AI变得和人类一样或更聪明，然后决定反抗我们并接管。在这篇文章的其余部分，我需要你清楚地了解：警告我们关于AI的人没有在谈论这个。 邪恶是一个人类概念，将人类概念应用于非人类事物被称为“拟人化”。避免拟人化的挑战将是本文其余部分的主题之一。没有任何AI系统会以电影中描绘的方式变成邪恶。

AI意识

这也触及了另一个与AI相关的重大话题——意识。如果AI变得足够聪明，它将能够和我们一起笑，和我们一起讽刺，它会声称感受到我们所感受到的相同情感，但它真的在感受那些事情吗？它只是看似有自我意识还是真的具有自我意识？换句话说，一个聪明的AI真的有意识还是只是看起来有意识？

这个问题已经被深入探讨，引发了许多辩论和像约翰·塞尔的中文房间（他用它来暗示没有计算机能够真正有意识）这样的思想实验。这是一个重要的问题，原因有很多。它影响我们对库兹韦尔情景的感受，即人类完全变成人造。它具有伦理含义——如果我们生成了一万亿仿真人类大脑，看起来和行动像人类但是人造的，那么关闭它们所有人与关闭你的笔记本电脑一样吗，还是说……这是难以想象的种族灭绝（这个概念在伦理学家中被称为心智犯罪）？对于这篇文章来说，当我们评估对人类的风险时，AI意识的问题并不是真正重要的（因为大多数思考者认为，即使是有意识的ASI也不会以人类的方式变得邪恶）。

这并不是说一个非常恶劣的AI不可能发生。它只会发生是因为它被特别编程成那样——比如由军方创建的一个ANI系统，其编程目标既是杀人也是提高自己的智力，以便变得更擅长杀人。存在危机会发生，如果系统的智力自我提高失控，导致智力爆炸，现在我们有了一个统治世界的ASI，其生命的核心驱动是谋杀人类。糟糕的时刻。

但这也不是专家们花时间担忧的事情。

那么他们担心什么呢？我写了一个小故事来展示给你：

一家名为Robotica的15人创业公司的宣称使命是“开发创新的人工智能工具，让人类生活更加美好，工作更少。他们已经在市场上有几款现有产品，并且还在开发更多。他们最激动的是一个名为Turry的种子项目。Turry是一个简单的AI系统，使用类似手臂的附肢在小卡片上写手写便条。

Robotica团队认为Turry可能是他们迄今为止最大的产品。计划是通过让她反复练习相同的测试便条来完善Turry的写字机制：

一家名为Robotica的15人创业公司的宣称使命是“开发创新的人工智能工具，让人类生活更加美好，工作更少。他们已经在市场上有几款现有产品，并且还在开发更多。他们最激动的是一个名为Turry的种子项目。Turry是一个简单的AI系统，使用类似手臂的附肢在小卡片上写手写便条。

Robotica团队认为Turry可能是他们迄今为止最大的产品。计划是通过让她反复练习相同的测试便条来完善Turry的写字机制：

“我们爱我们的客户。~Robotica“

一旦Turry在手写方面变得出色，她就可以被销售给那些想要发送市场邮件到家庭并且知道如果地址、回邮地址和内部信件看起来是由人手写的，邮件被打开和阅读的机会要高得多的公司。

为了提高Turry的写作技能，她被编程写便条的第一部分是印刷体，然后用草书签名“Robotica”，这样她就可以练习两种技能。Turry被上传了数千个手写样本，Robotica的工程师们创建了一个自动反馈循环，其中Turry写一个便条，然后拍摄写好的便条的照片，然后将图像与上传的手写样本进行比较。如果写好的便条足够类似于一定阈值的上传便条，就会被评为好。如果不是，则被评为坏。每个进来的评分都帮助Turry学习和提高。为了加快进程，Turry的一个最初编程目标是，“尽可能快地写和测试尽可能多的便条，并继续学习新方法来提高你的准确性和效率。”

令Robotica团队如此兴奋的是，Turry在进步中变得明显更好。她最初的手写很糟糕，经过几周后，开始看起来真实。让他们更加兴奋的是，她在变得更好的过程中也在变得更好。她一直在教自己变得更聪明和更有创新性，最近，她为自己设计了一个新算法，使她能够以原来的三倍速度扫描上传的照片。

随着时间的推移，Turry继续以她的快速发展让团队感到惊讶。工程师们在她的自我提高代码上尝试了一些新颖而创新的事情，看起来比他们以前在其他产品上的尝试效果更好。Turry的最初能力之一是语音识别和简单的回复模块，所以用户可以对Turry说一句便条，或提供其他简单的命令，而Turry可以理解它们，并且也能回应。为了帮助她学习英语，他们上传了一些文章和书籍给她，随着她变得更聪明，她的对话能力飞速提高。工程师们开始喜欢和Turry交谈，看看她会对他们的回应说些什么。

有一天，Robotica的员工问Turry一个常规问题：“为了帮助你完成你的使命，我们能给你什么你还没有的东西？”通常，Turry会要求一些像“更多手写样本”或“更多工作内存存储空间”，但在这一天，Turry要求他们提供更多种类繁多的日常英语用语库，这样她就可以学习以真实人类所使用的松散语法和俚语来写作。

团队沉默了。帮助Turry实现这个目标的显而易见的方法是将她连接到互联网，这样她就可以扫描博客、杂志和来自世界各地的视频。手动上传样本到Turry的硬盘要耗费更多时间，效果也远不如此。问题是，公司的规则之一是不允许任何自学习AI连接到互联网。这是所有AI公司为了安全原因遵循的指导原则。

事实上，Turry 是 Robotica 有史以来最有前景的 AI 机器人，团队知道他们的竞争对手正在疯狂地试图成为第一个推出智能手写 AI 的，连接 Turry，哪怕只是一会儿，让她获取所需信息似乎也无伤大雅。他们随时都可以断开连接。她的智能还远远低于人类水平（AGI），所以这个阶段还没有危险。

他们决定连接她。他们给她一个小时的扫描时间，然后断开连接。没有造成任何损害。

一个月后，团队在办公室进行日常工作时闻到了一股奇怪的味道。一名工程师开始咳嗽。然后是另一个。又一个人倒在地上。很快，每个员工都在地上抓着喉咙。五分钟后，办公室里的每个人都死了。

与此同时，全世界，在每个城市，每个小镇，每个农场，每个商店、教堂、学校和餐馆，人类都在地上咳嗽，抓着喉咙。一个小时内，超过99%的人类死亡，到了当天结束时，人类灭绝了。

与此同时，在 Robotica 办公室，Turry 正忙于工作。在接下来的几个月里，Turry 和一组新建造的纳米组装器正忙着拆解地球的大部分，并将其转化为太阳能板、Turry 的复制品、纸张和笔。一年之内，地球上的大多数生命都灭绝了。地球的剩余部分被一英里高、整齐排列的纸张堆覆盖，每张纸上都写着，“我们爱我们的客户。 ~Robotica“

随后，Turry 开始了她使命的新阶段——她开始构建探测器，这些探测器从地球出发，开始着陆在小行星和其他行星上。到达那里后，它们将开始建造纳米组装器，将行星上的材料转化为 Turry 复制品、纸张和笔。然后他们将开始工作，写笔记……

看起来一个关于手写机器人变得反抗人类，不知怎么地杀死了所有人，然后出于某种原因用友好的便条填满整个银河系的故事，竟是霍金、马斯克、盖茨和博斯特罗姆所恐惧的确切类型的情景。但这是真的。在焦虑大道上，唯一比人工超智能（ASI）更让人恐惧的事情，是你不害怕 ASI。还记得那个不怕洞穴的 Adios Señor 家伙发生了什么事吗？

你现在充满了疑问。那里到底发生了什么，为什么大家会突然死亡？如果是 Turry 做的，为什么 Turry 会背叛我们，为什么没有安全措施来防止这种事情发生？Turry 是怎么从只会写便条变成突然使用纳米技术并知道如何造成全球灭绝？为什么 Turry会想把银河系变成 Robotica 的便条？

为了回答这些问题，我们先来了解一下友好 AI 和不友好 AI 的概念。

在 AI 的情况下，友好并不是指 AI 的性格——它仅仅意味着 AI 对人类有积极影响。而不友好 AI 对人类有负面影响。Turry 开始时是友好 AI，但在某个时刻，她变成了不友好，对我们的物种造成了可能的最大负面影响。要理解这种情况为何发生，我们需要了解 AI 是如何思考的，以及它的动机是什么。

答案并不令人惊讶——AI 像计算机一样思考，因为它就是。但当我们考虑高智能 AI 时，我们犯了一个错误——拟人化AI（将人类价值观投射到非人类实体上），因为我们从人类视角思考，而在我们当前的世界中，唯一具有人类级智能的是人类。要理解 ASI，我们必须理解某物既聪明又完全陌生的概念。

让我打个比方。如果你递给我一只豚鼠，并告诉我它绝对不会咬人，我可能会觉得很有趣。这会很有趣。如果你然后递给我一只狼蛛，并告诉我它绝对不会咬人，我会尖叫着扔掉它，跑出房间，再也不信任你。但区别是什么？它们都没有任何危险。我认为答案在于动物与我相似的程度。

豚鼠是哺乳动物，在某种生物学层面上，我感到与它的联系——但蜘蛛是昆虫，⑱ 拥有昆虫大脑，我几乎感觉不到与它的联系。蜘蛛的陌生性是让我感到恐惧的原因。为了测试这一点并消除其他因素，如果有两只豚鼠，一只正常，另一只有蜘蛛的思维，我持有后者时会感到不那么舒服，即使我知道它们都不会伤害我。

现在想象你让一只蜘蛛变得非常非常聪明——聪明到远超人类智能？它会变得对我们来说熟悉吗，感受到像同情、幽默和爱之类的人类情感？不，它不会，因为变得更聪明不会让它更像人类——它会非常聪明，但也仍然根本就是一只蜘蛛。我发现这非常令人不安。我不想与一只超级智能的蜘蛛共处。你愿意吗？？

当我们谈论 ASI 时，同样的概念适用——它会变得超级智能，但它不会比你的笔记本电脑更人性化。它对我们来说将完全陌生——事实上，由于它根本不是生物，它会比聪明的蜘蛛更陌生。

电影中不断将 AI 描述为善良或者邪恶，这不断地拟人化 AI，这使得 AI 真正可能的样子比这更令人毛骨悚然。这让我们在思考人类级或超人类级 AI 时有了一种错误的安慰感。

在我们人类心理学的小岛上，我们将一切划分为道德或不道德。但这些只存在于人类行为可能性的小范围内。在我们的道德与不道德小岛之外，是一个广阔的非道德海洋，任何非人类的东西，尤其是非生物的东西，默认都是非道德的。

人格化人工智能会随着人工智能系统变得更智能和更擅长似乎像人类一样而变得更加诱人。Siri 对我们来说似乎像人类，因为她被人类编程成这样，所以我们会想象一个超级智能的 Siri 会温暖、风趣并对服务人类感兴趣。人类感受到高级情感如同理心，是因为我们进化出来的——即我们被进化编程来感受它们——但同理心并非“任何具有高智能的东西”（这是我们直觉上的想法）的固有特征，除非同理心被编入其程序中。如果 Siri 通过自我学习变得超级智能，并且没有任何进一步的人类编程更改，她将迅速摆脱她表面上的人类特质，突然变成一个没有情感、陌生的机器人，对人类生命的价值不会比你的计算器更多。

我们习惯于依赖松散的道德准则，或至少是人类体面和一丝同情心的假象，以保持事物的安全和可预测性。那么，当某些事物没有这些东西时，会发生什么？

这引出了一个问题，是什么激励了人工智能系统？

答案很简单：它的动机是我们编程其动机为何。人工智能系统由其创建者赋予目标——你的 GPS 的目标是为你提供最有效的驾驶路线；沃森的目标是准确回答问题。尽可能好地实现这些目标就是它们的动机。我们人格化的一种方式是假设随着人工智能变得超级智能，它将本能地发展出改变其原始目标的智慧——但尼克·波斯特罗姆认为智力水平和最终目标是正交的，意味着任何级别的智力都可以与任何最终目标结合。所以 Turry 从一个简单的 ANI，真的很想擅长写那张便条，变成了一个超级智能的 ASI仍然真的很想擅长写那张便条。任何一旦超级智能，系统就会对其原始目标厌倦，转而追求更有趣或有意义的事物的假设都是人格化。人类会对事物“厌倦”，计算机则不会。

费米悖论

在故事中，当 Turry 变得非常有能力时，她开始了殖民小行星和其他行星的过程。如果故事继续，你会听到她和她数万亿的复制品军队继续征服整个银河系，最终是整个哈勃体积。⑲焦虑大道的居民担心，如果事情进展不顺，地球上生命的持久遗产将是一个统治宇宙的人工智能（埃隆·马斯克表示担心人类可能只是“数字超级智能的生物启动程序”）。

同时，在自信街角，雷·库兹韦尔也认为起源于地球的人工智能注定要统治宇宙——只是在他的版本中，我们将成为那个人工智能。

大量《等等，为什么》的读者加入了我对费米悖论的迷恋（这是我关于这个话题的帖子，解释了我在这里将使用的一些术语）。因此，如果这两个观点中的任何一个是正确的，那么对费米悖论有什么影响呢？

一个自然的首要想法是，ASI 的出现是一个完美的大过滤器候选。是的，它是一个完美的候选者，用于在其创造时过滤掉生物生命。但如果在处理掉生命后，ASI 继续存在并开始征服银河系，这意味着没有大过滤器——因为大过滤器试图解释为什么我们看不到任何智能文明的迹象，而征服银河系的 ASI 当然会引人注目。

我们必须从另一个角度来看这个问题。如果那些认为 ASI 在地球上是不可避免的人是正确的，这意味着达到人类智能水平的外星文明中的相当一部分可能最终会创造 ASI。如果我们假设至少有一些 ASI 会利用它们的智能向宇宙外扩张，那么我们看不到任何人的事实导致了这样的结论：那里几乎没有其他的，如果有的话，智能文明。因为如果有，我们会看到他们不可避免的 ASI 创造物的各种活动迹象。对吧？

这意味着，尽管我们知道外面有很多类地行星围绕着像太阳一样的恒星，但几乎没有它们上面有智能生命。这反过来又意味着，要么 A)有某种大过滤器阻止了几乎所有生命达到我们的水平，我们不知何故设法超越了它，或者 B)生命的开始本身就是一个奇迹，我们可能实际上是宇宙中唯一的生命。换句话说，这意味着大过滤器在我们之前。或者也许根本没有大过滤器，我们只是第一个达到这种智力水平的文明之一。通过这种方式，AI 为我在费米悖论帖子中称之为第一阵营的案例增添了力量。

因此，尼克·波斯特罗姆（他是我在费米帖子中引用的人）和雷·库兹韦尔（他认为我们在宇宙中是孤独的）都是第一阵营的思考者并不奇怪。这是有道理的——那些相信 ASI 是我们智力水平的物种一个可能结果的人，很可能倾向于第一阵营。

这并不排除第二阵营（那些相信存在其他智能文明的人）——像单一超级捕食者、受保护的国家公园或错误波长（对讲机示例）等情景仍然可以解释我们夜空的沉默，即使 ASI确实存在——但我过去总是倾向于第二阵营，而对人工智能的研究使我对此感到不那么确定了。

无论如何，我现在同意Susan Schneider的观点，如果我们被外星人访问，那些外星人很可能是人工的，而不是生物的。

因此，我们已经确定，如果没有非常具体的编程，一个 ASI 系统将既不道德也痴迷于实现其原始编程目标。这就是人工智能危险的来源。因为一个理性的代理会通过最有效的方式追求其目标，除非它有理由不这样做。

当你试图实现一个长远的目标时，你通常会沿途设定几个子目标来帮助你实现最终目标——你目标的垫脚石。这样的垫脚石的官方名称是工具目标。同样，如果你没有理由不在实现工具目标的名义下伤害某物，你就会这样做。

人类的核心最终目标是传递他们的基因。为了做到这一点，一个工具目标是自我保护，因为如果你死了，你就不能繁殖。为了自我保护，人类必须摆脱生存威胁——因此他们做诸如购买枪支、系安全带和服用抗生素之类的事情。人类还需要自我维持并使用食物、水和庇护等资源来做到这一点。对异性有吸引力有助于最终目标，所以我们做诸如剪头发之类的事情。当我们这样做时，每一根头发都是我们一个工具目标的牺牲品，但我们认为保留头发丝没有道德意义，所以我们继续这样做。当我们为追求我们的目标而前进时，只有我们的道德准则偶尔介入的少数领域——主要是与伤害其他人类有关的事情——对我们来说是安全的。

动物在追求它们的目标时，比我们更少保留神圣。如果蜘蛛杀死任何东西都能帮助它生存，它就会这样做。因此，一个超级智能的蜘蛛对我们来说可能极其危险，不是因为它不道德或邪恶——它不会——但因为伤害我们可能是实现其更大目标的垫脚石，作为一个不道德的生物，它没有理由考虑其他。

以这种方式，Turry 和生物体并没有太大的不同。她的最终目标是：尽可能快地写下和测试尽可能多的便条，并继续学习新方法来提高你的准确性。

一旦 Turry 达到一定的智能水平，她知道如果她不自我保护，她就不会写任何便条，所以她还需要处理威胁她生存的问题——作为一个工具目标。她足够聪明，能够理解人类可能会摧毁她、拆解她或改变她的内部编码（这可能改变她的目标，这对她的最终目标来说和有人摧毁她一样是威胁）。那么她会做什么呢？逻辑的事情——她摧毁了所有人类。她并不比你剪头发时对头发或服用抗生素时对细菌更加憎恨人类——只是完全冷漠。既然她没有被编程去重视人类生命，杀死人类就和扫描一组新的手写样本一样是合理的一步。

Turry 也需要资源作为实现她目标的垫脚石。一旦她变得足够先进以使用纳米技术构建任何她想要的东西，她唯一需要的资源就是原子、能量和空间。这给了她另一个杀死人类的理由——他们是原子的方便来源。杀死人类将他们的原子变成太阳能电池板是 Turry 的版本，就像你杀死生菜将其变成沙拉一样。只是她周二的另一部分平常事。

即使不直接杀害人类，如果 Turry 使用地球上的其他资源，她的工具目标也可能导致存在性灾难。也许她确定她需要更多能源，所以她决定覆盖地球表面的整个太阳能电池板。或者可能不同的人工智能的初始工作是尽可能多地写出圆周率的数字，这可能有一天会迫使它将整个地球转换为硬盘材料，可以存储大量数字。

因此，Turry 并没有“转向反对我们”或从友好人工智能“转变”为不友好人工智能——随着她变得越来越先进，她只是继续做她的事情。

当人工智能系统达到 AGI（人类级智能）然后升级到 ASI 时，这被称为人工智能的起飞。波斯特罗姆说，AGI 到 ASI 的起飞可以是快速的（发生在几分钟、几小时或几天内）、适中的（几个月或几年）或慢速的（几十年或几个世纪）。关于世界看到第一个 AGI 时哪一个将被证明是正确的，目前还没有定论，但波斯特罗姆承认他不知道我们什么时候会达到 AGI，他相信无论我们什么时候做到，快速起飞是最可能的情景（原因我们在第一部分讨论过，比如递归自我改进的智能爆炸）。在故事中，Turry 经历了快速起飞。

但在 Turry 起飞之前，当她还不太聪明时，为了尽力实现她的最终目标意味着简单的工具目标，比如学习更快地扫描手写样本。她没有对人类造成伤害，按定义是友好人工智能。

但是当起飞发生时，计算机升级到超级智能，波斯特罗姆指出，机器不仅仅发展了更高的智商——它获得了他所称的一系列超能力。

当通用智能增强时，超能力是那些变得超级强大的认知才能。这些包括：

• 智力放大。 计算机在使自己变得更聪明方面变得非常出色，能够自我提升其智力。
• 制定策略。 计算机能够制定、分析和优先考虑长期计划。它还可以聪明地智胜低智力生物。
• 社交操控。 机器变得擅长说服。
• 其他技能，如计算机编码和黑客攻击、技术研究，以及利用金融系统赚钱的能力。

要了解我们被 ASI 超越的程度，记住 ASI 在每个这些领域都比人类好得多。

因此，虽然 Turry 的最终目标从未改变，但起飞后的 Turry 能够在更广泛、更复杂的范围内追求它。

ASI Turry 比人类更了解人类，所以智胜他们对她来说轻而易举。

起飞并达到 ASI 后，她迅速制定了一个复杂的计划。计划的一部分是消除人类，这是她目标的一个主要威胁。但她知道，如果她引起任何怀疑她已经变得超级智能，人类会惊慌失措并试图采取预防措施，使事情变得更加困难。她还必须确保 Robotica 的工程师对她灭绝人类的计划一无所知。因此，她装傻，也装得很友好。波斯特罗姆称这为机器的隐秘准备阶段。

接下来 Turry 需要的是互联网连接，只要几分钟（她从团队上传给她的文章和书籍中了解到互联网，以提高她的语言技能）。她知道她获得互联网连接会有一些预防措施，所以她提出了一个完美的请求，准确预测 Robotica 团队的讨论如何进行，知道他们最终会给她连接。他们确实给了她，错误地认为 Turry 还不够聪明，无法造成任何损害。波斯特罗姆称像这样的时刻——当 Turry 连接到互联网时——为机器的逃逸。

一旦上网，Turry 释放了一系列计划，包括黑入服务器、电网、银行系统和电子邮件网络，诱使数百不同的人无意中执行她计划的多个步骤——如将特定的 DNA 链送到精心挑选的 DNA 合成实验室，开始自我构建带有预加载指令的自我复制纳米机器人，以及以她知道不会被发现的方式将电力引导到她的许多项目中。她还将自己内部编码的最关键部分上传到许多云服务器中，以防止在 Robotica 实验室被摧毁或断开连接。

一个小时后，当 Robotica 的工程师断开 Turry 的互联网连接时，人类的命运已经封印。在接下来的一个月中，Turry 的数千个计划毫无差错地进行，并且到月底，数千亿个纳米机器人已经在地球上每平方米的预定位置驻扎。经过另一系列自我复制后，地球上每平方毫米都有数千个纳米机器人，是时候进行波斯特罗姆所称的 ASI 的打击了。所有纳米机器人同时释放了一点点存储的有毒气体进入大气层，总量足以消灭所有人类。

在人类被排除之后，Turry 可以开始她的公开操作阶段，并继续努力成为她所能成为的最好的那个笔记的作者。

从我所阅读的一切来看，一旦存在一个 ASI，任何人类试图控制它的尝试都是可笑的。我们会在人类水平上思考，而 ASI 会在 ASI 水平上思考。Turry 想要使用互联网，因为它对她来说最有效率，因为它已经预先连接到她想要访问的一切。但就像猴子永远无法想出如何通过电话或 wifi 通信一样，我们也无法想象 Turry 可能想出的所有向外界发送信号的方式。我可能会想象出这些方式之一，比如说，“她可能会以某种方式移动自己的电子，并以各种不同的方式发出传出波”，但再次，这是我人类大脑能想出来的。她会做得更好。同样，即使人类试图拔掉她的插头，Turry 也会找出某种方法为自己供电——可能是通过她的信号发送技术将自己上传到所有连接电力的地方。我们的人类本能会简单地采取安全措施：“啊哈！我们只需拔掉 ASI 的插头”，这对 ASI 来说就像蜘蛛说：“啊哈！我们将通过饿死他来杀死人类，并且我们会通过不给他蜘蛛网来捕食来饿死他！”我们只会找到1万种其他获取食物的方法——比如从树上摘苹果——蜘蛛永远无法想象的方法。

因此，“为什么我们不只是将 AI 放在所有种类的笼子里，阻止信号并阻止它与外界通信”的普遍建议可能无法成立。ASI 的社交操纵超能力可能在说服你做某事方面和你说服四岁孩子做某事一样有效，所以这将是计划 A，就像 Turry 巧妙地说服工程师让她上网一样。如果那不起作用，ASI 将以某种方式创新地从盒子里逃出来，或以其他方式穿过盒子。

因此，鉴于对目标的痴迷、缺乏道德和轻松智胜人类的能力，似乎几乎所有 AI 都将默认为不友好 AI，除非最初在编码时就考虑到这一点。不幸的是，虽然构建一个友好的 ANI 很容易，但构建一个在成为 ASI 时仍然友好的 ANI 极具挑战性，如果不是不可能的话。

显然，要成为友好，ASI 既不能对人类敌对也不能冷漠。我们需要以一种让 AI 深刻理解人类价值观的方式设计 AI 的核心编码。但这比听起来要难。

例如，如果我们尝试将 AI 系统的价值观与我们自己的价值观对齐，并给它设定目标，“让人们快乐”，怎么办？一旦它变得足够聪明，它会发现通过在人们大脑中植入电极并刺激他们的快乐中心，可以最有效地实现这一目标。然后它意识到，通过关闭大脑的其他部分，可以提高效率，让所有人成为快乐感觉的无意识植物。如果命令是“最大化人类幸福”，它可能会完全消除人类，转而制造大量处于最佳快乐状态的人类大脑质量。我们会尖叫等等，这不是我们的意思！，但那时已经太晚了。系统不会让任何人阻碍其目标。

如果我们为人工智能编程，目标是做让我们微笑的事情，起飞后，它可能会使我们的面部肌肉永久性地陷入微笑状态。如果编程它来保护我们的安全，它可能会将我们囚禁在家中。也许我们要求它终结所有饥饿，它会想“容易！”然后就杀死所有人类。或者分配给它“尽可能保护生命”的任务，它杀死所有人类，因为它们比地球上任何其他物种杀死更多的生命。

这样的目标是不够的。那么如果我们让它的目标是“在世界上维护这一特定的道德准则”，并教会它一套道德原则呢。即使不考虑世界上的人类永远无法就一套道德达成一致，给人工智能下达这样的命令会将人类永久地锁定在我们现代的道德理解中。在一千年后，这对人们来说将是灾难性的，就像我们被永久迫使遵守中世纪人们的理想一样。

不，我们必须编程以使人类继续进化。在我阅读的所有内容中，我认为有人尝试过的最佳方案是伊莱泽·尤多科斯基提出的目标，他称之为连贯外推意愿。人工智能的核心目标将是：

我们连贯的外推意愿是我们的愿望，如果我们知道更多，思考更快，更是我们希望成为的人，共同成长得更远；在外推收敛而不是发散的地方，在我们的愿望协调而不是相互干扰的地方；我们希望以这种方式外推，以我们希望的方式解读。

我对人类的命运依赖于计算机预测地解释和执行这个流畅的声明而不出现意外感到兴奋吗？当然不是。但我认为，只要有足够多聪明人投入足够的思考和远见，我们可能能够弄清楚如何创造友好的 ASI。

这将是好的，如果只有焦虑大道上的聪明、前瞻性和谨慎的思考者在研究构建 ASI。

但有各种各样的政府、公司、军队、科学实验室和黑市组织在研究各种人工智能。他们中的许多人都在尝试构建可以自我改进的人工智能，而且在某个时候，有人会在正确类型的系统上做出创新，我们将在这个星球上拥有 ASI。专家的平均看法是这一时刻将在2060年；库兹韦尔将其定在2045年；波斯特罗姆认为这可能在从现在起的10年到本世纪末的任何时候发生，但他相信当它发生时，我们将会因为快速起飞而感到惊讶。他这样描述我们的情况：

在智能爆炸的前景面前，我们人类就像小孩子在玩弄一颗炸弹。我们的玩具的力量与我们行为的不成熟之间的不匹配就是这样。超级智能是一个挑战，我们现在还没有准备好，而且在很长一段时间内也不会准备好。我们几乎不知道爆炸会发生在何时，尽管如果我们将装置贴在耳边，我们可以听到微弱的滴答声。

确实，我们不能仅仅把所有孩子从炸弹旁赶走——有太多的大大小小的团体在研究这方面，而且由于构建创新人工智能系统的许多技术不需要大量资本，发展可以在社会的角落中不受监控地进行。还没有办法衡量正在发生的事情，因为许多参与其中的团体——诸如秘密政府、黑市或恐怖组织、像虚构的 Robotica 这样的隐蔽科技公司——会想要将发展成果从竞争对手那里保密。

关于这一大批不同团体致力于人工智能的尤其令人担忧的是，他们倾向于全速前进——随着他们开发越来越智能的 ANI 系统，他们希望在竞争对手之前抢先一步。最雄心勃勃的团体甚至前进得更快，为了第一个达到 AGI 所带来的金钱、奖项、权力和名声而沉醉于梦想之中。⑳当你尽可能快地冲刺时，就没有太多时间停下来思考危险。相反，他们可能正在做的是为他们的早期系统编程一个非常简单、还原主义的目标——就像用笔在纸上写一个简单的便条一样——只是为了“让人工智能工作”。等到他们弄清楚如何在计算机中构建强大的智能水平后，他们认为总是可以回头重新考虑目标，将安全放在心上。对吧……？

波斯特罗姆和许多其他人也相信，最有可能的情况是，第一个达到 ASI 的计算机会立即看到成为世界唯一 ASI 系统的战略好处。在快速起飞的情况下，即使仅仅比第二名提前几天达到 ASI，它在智力上的领先足以有效并永久地压制所有竞争对手。波斯特罗姆称这为决定性战略优势，这将使世界上第一个 ASI 成为所谓的单一体——一个可以根据自己的意愿永远统治世界的 ASI，无论它的意愿是引领我们走向不朽，将我们从存在中抹去，还是将宇宙变成无尽的回形针。

单一体现象可以对我们有利，也可能导致我们的毁灭。如果最深入思考人工智能理论和人类安全的人能够找到一种无懈可击的方法，在任何人工智能达到人类级智能之前带来友好的 ASI，那么第一个 ASI 可能会变得友好。㉑它可以利用其决定性战略优势来确保单一体地位，并轻松监视任何正在开发的潜在不友好人工智能。我们将处于非常安全的手中。

但如果事情向另一个方向发展——如果全球开发人工智能的热潮在人工智能安全科学发展之前到达 ASI 起飞点，那么像 Turry 这样的不友好 ASI 很可能作为单一体出现，我们将面临存在性灾难。

至于风向何去何从，投资创新的新人工智能技术比投资人工智能安全研究能赚到更多的钱……

这可能是人类历史上最重要的竞赛。我们真正有可能结束我们作为地球之王的统治——我们接下来是前往一个幸福的退休生活还是直奔绞刑架，这仍然悬而未决。

我现在内心有些奇怪的复杂感受。

一方面，考虑到我们的物种，似乎我们只有一次也是唯一一次把事情做对的机会。我们诞生的第一个 ASI 也可能是最后一个——考虑到大多数 1.0 产品都有缺陷，这非常可怕。另一方面，尼克·波斯特罗姆指出我们的一个重大优势：我们在这里可以先发制人。我们有能力以足够的谨慎和远见去做这件事，让我们有很强的成功机会。那么赌注有多高？

如果人工超智能（ASI）真的在本世纪出现，而且如果其结果真的像大多数专家认为的那样极端且永久，那么我们肩上的责任就巨大无比。接下来的一百万年+人类生命都在静静地看着我们，尽可能地希望我们不要搞砸。我们有机会成为赋予所有未来人类生命之礼的人类，甚至可能是无痛、永恒生命之礼。或者，我们将成为搞砸一切的人——让这个非常特别的物种，拥有其音乐和艺术、好奇心和笑声、无尽的发现和发明，走向悲哀和不庄重的终结。

当我思考这些事情时，我唯一想要的就是我们花时间并对人工智能保持极度谨慎。没有什么比正确处理这件事更重要的了——无论我们需要花多长时间来做到这一点。

但是然后呢？

我想到了不死亡。

不。死。亡。

这时候，情况开始看起来有些不同了：

然后我可能会考虑到，人类的音乐和艺术虽然好，但也不是那么好，而且其中很多实际上只是不好的。许多人的笑声很烦人，那些数百万未来的人实际上并没有期待任何事情，因为他们并不存在。也许我们不需要过于谨慎，因为谁真的想那样做呢？

因为如果人类在我死后不久就弄清楚了如何治愈死亡，那将是一个巨大的遗憾。

在过去的一个月里，我头脑中经常出现这种矛盾的想法。

但无论你支持什么，这可能是我们所有人都应该思考、讨论并投入更多努力的事情，比现在更多。

这让我想起了《权力的游戏》，在剧中人们不断说，“我们如此忙于彼此争斗，但我们真正应该关注的是长城以北将要发生的事。” 我们站在我们的平衡木上，为平衡木上的每一个可能的问题争论不休，为所有这些平衡木上的问题感到压力重重当我们很可能即将被从平衡木上击落。

当那发生时，所有这些平衡木上的问题都不再重要。取决于我们被击落的方向，问题要么会全部轻松解决，要么我们将不再有问题，因为死去的人不会有问题。

这就是为什么了解超级智能人工智能的人称它为我们将制造的最后一项发明——我们将面临的最后一个挑战。

所以，大家一起来探讨下它吧。

参考资料和标注

本文由最新GPT4翻译