本文转载自“Nature自然科研”，原文以Artificial intelligence: The future is superintelligent为标题发布在2017年8月30日的《自然》书籍与艺术版块上，原文作者：Stuart Russell，点评《生命 3.0》——一本讲述人工智能风险和收益的书。
Max Tegmark是著名的物理学家，也是马萨诸塞州生命未来研究所十足乐观的联合创始人。该所的格言是：“因为技术，生命可能走向前所未有的繁荣…或自我毁灭。让我们创造不同！”如今，在《生命 3.0》里，他审视了一个不容忽视的未来动向——人工智能的演变。他强调应该认真思考其中的风险，以免我们不经意间失去宇宙给予人类的天赋。
机器蜂（RoboBee）用于人工授粉，但可能产生无法预料的环境影响。Thierry Falise/Lightrocket Via Getty
首先澄清一下利益关系，Tegmark和我是合作伙伴，并且拥有同一个著作代理商。2014年，我们和物理学家Stephen Hawking（斯蒂芬·霍金）以及Frank Wilczek（弗朗克·韦尔切克）一起在《赫芬顿邮报》上发表了文章《人类对超级智能机器的盲目乐观》。文章表面上是点评Wally Pfister的反乌托邦AI电影《超验骇客》，实际是籍此呼吁AI圈严肃对待人工智能的风险。因此，我不大可能全盘否定Tegmark 在《生命 3.0》中给出的预设：因为人类当下采取的决策，生命可能传遍全宇宙并“世世代代繁荣下去”，也可能不会。其中的可能性既诱人又沉重。
此书书名意指演化史上的第三个阶段。生命几乎用了40亿年来完善硬件（躯体）和软件（生成行为的能力）。又过了10万年，学习和文化使人类能够适应并控制自己的软件。在即将来临的第三阶段，生命的软件和硬件都将能够被重新设计。这听上去像是超人类主义——主张重新设计人体和人脑——但Tegmark的关注点是AI，即通过外部仪器补充心智能力。
Tegmark同时思考了风险和利益。短期风险包括智能武器的军备竞赛以及就业急剧减少。AI圈实际上一致谴责制造可自主杀人的机器，但在就业问题上则存在争议。很多人预言经济会受益——就像以往的工业革命一样，AI会带来新的岗位并淘汰旧的。
Tegmark语带讥诮地虚构了1900年两匹马讨论内燃机崛起的画面；其中一匹认为“马儿们会得到新的工作，一直以来都是这样的……就像轮子和犁被发明时发生的那样。”然而对于多数马来说，“新工作”是变成宠物食品。Tegmark的分析令人叹服，包括Paul Krugman在内的经济学家也支持这个观点。但是问题并未终结：当大多数目前被称为工作的事情由机器完成时，什么才会是人类希望实现的理想经济状态？
长期风险则攸关人类存亡。书中虚构的序言描述了一个超级智能颇有可能出现的场景。然后，Tegmark一一论述了人类的各种结局——走向准乌托邦，或沦为奴隶，或灭亡。我们不知道如何驶向更好的未来本身就说明：我们没有认真思考过为什么让AI变得更强大可能是件坏事。
计算机先驱阿兰·图灵1951年提出了一种可能性——我们人类再强大也只能在AI面前相形见绌，表达了制造比自己聪明的东西会引起的普遍不安。为缓和这种不安而制约AI的发展可能既不可行也不可取。《生命 3.0》最有趣的一部分指出：真正的问题在于目标走偏时可能造成的潜在后果。
控制论奠基人Norbert Wiener于1960年写道：“我们最好非常确定赋予机器的意图是我们真实期望的意图。”或者，按Tegmark的说法，“现在不知道如何给一个超级智能的AI灌输一个既不会定义不明又不会导致人类灭亡的终极目标。”在我看来，这既是一个技术问题，也是一个哲学问题，它需要调动全部智力资源来思考。
只有解答了上述问题后我们才能收获成果，譬如在宇宙中扩张，扩张动力或将来自一些奇异技术，如戴森球（能够捕获恒星的能量），建造在黑洞周围的加速器，或Tegmark理论上设想的Sphalerizer（类似柴油发动机，但以夸克为燃料并且效能高出10亿倍）。宇宙和物理学法则将会解释扩张的上限在哪儿，但是如果纯粹考虑科学趣味，却不好驳斥这些解释。或许有一天，我们可以使生物圈的范围扩大“约32个数量级”，但是又会失望地发现，宇宙膨胀可能使我们只能移居100亿个星系。我们可以体会到子孙后代的焦虑，因为“暗能量割裂宇宙文明的威胁，促使人们开展浩大的宇宙工程项目”。
本书结尾介绍了生命未来研究所如何将这些问题引入关于AI的主流思考中——Tegmark功不可没。当然，他不是唯一敲响警钟的人。通篇而论，《生命 3.0》和 Nick Bostrom 2014年的著作《超级智能》（牛津大学出版社）最为相似。不过，有别于Bostrom的是，Tegmark没有试图证明风险不可避免；他也绕开了深刻的哲学探索，而将问题抛向读者：你们认为哪些场景更有可能发生或者更吸引人。
虽然两本书我都强烈推荐，但我猜测Tegmark的书不大会在AI研究者中间引起常见的过激反应：退而采用防守性方式论证自己漠不关心的合理性。一个典型的例子是：既然我们不担心那些遥远的、可能导致物种毁灭的可能性——比如在近地轨道形成的黑洞，那为什么要担心超级智能AI呢？回答是：如果是物理学家们在制造这种黑洞，我们难道会不问问这样做是否安全吗？
《经济学人》杂志简单地叙述过这个重要的问题：“在地球上引入第二个智能物种，影响深远，值得认真思考”。《生命 3.0》远不是对人工智能和未来话题的定论，但它用一种引人入胜的笔触概括了我们应该进行什么样的严肃思考。
书籍：《生命3.0：人工智能时代的人类》
Max Tegmark Knopf: 2017.ISBN:9781101946596
