几年以前我和一个刚刚创业的朋友品茶小聚，他刚过不惑之年却饱受背伤之苦，父亲也疾病缠身，一切痛楚让他觉得被生活所拖累，尝尽命运捉弄之苦。“不怕你笑话”，他提到，我现在真是“四处拜佛，以求得上天保佑有奇迹降临我身”。
我的朋友浪迹科技圈，亲眼见证了微处理器频繁迭代更新以及互联网的迅猛发展，但那也不足以让他确信，在他发生中年危机之前——机器的智慧会超越人类，这才是未来学家称之为见证奇迹的时刻。一个善良的超级智能可以快速地分析出人类遗传密码并解开永恒青春的秘密，或者至少它可以知道如何治疗一个人的背痛。
但是如果人工智能不“善良”又当如何？，牛津大学的未来人类研究所负责人尼克·博斯特伦在他的《超级人工智能》一书中描述了如下场景，而这个描述直接引发了一系列关于未来人工智能的口水仗。是什么场景呢，假设有一台我们称之为“高效回形针生产者”的机器——它能制造出尽可能多的回形针。好，现在想象这机器不知何故突然变得不可思议的聪明，给它制造环形针的任务后，它决定先创造出更高效的回形针制造机器——直到就像古希腊国王迈达斯一样，它会把几乎所有的东西都变成环形针。
[译者注：森林之神西勒诺斯和酒神狄俄尼索斯为了回报古希腊国王迈达斯的盛情款待，许诺可以实现他的任何愿望。贪财的迈达斯请求让自己碰到的东西都变成黄金，但他很快就赶到后悔了，因为就连他的食物和水，甚至他的女儿也都变成了黄金。迈达斯在狄俄尼索斯指示下在河中沐浴后才得以解脱，据说后来河里的沙子中也含着金子。]
没问题，你可能淡定地说：可以通过程序准确控制，让它只生产出一百万环形针之后停止运行即可。但是假如它造出环形针之后决定去检验他的产出怎么办？计数正确吗？这种不确定性怎么检查？为了确保正确性，它必须要更加聪明，所以这个超级智能机器制造了一些以前没人发明的原始计算材料（称之为：computronium），用它们来检查每一个不确定性。但是每一个新的不确定性会引发更多的数字化不确定性，所以如此反复，直到整个地球都会变成computronium——而不是一百万个回形针。
博斯特罗姆并不认为高效回形针生产者能够成为现实，准确来讲，它仅仅是一个头脑中的概念实验，一个来揭示“即使再仔细的系统设计也无法限制极端机器智能”的设计。但是他相信超级智能会出现，而且是相当牛的，他认为这个超级智能会自主决定不依赖身边的人类，或者作出一些毁灭世界的事情来。
如果这种论调你觉得很荒唐，也有一些人和你一样，评论家比如机器人先驱罗德尼布鲁克斯说，“惧怕人工智能失控的那些人对电脑在做什么和说它们在思考或者变得更加聪明有所误解”。从这个角度来看，博斯特罗姆所描述的超级人工智能也许是在遥远的未来，也许是永远也不可能的。
然而还是有很多深思熟虑的聪明人同意博斯特罗姆的观点并忧心忡忡，为啥？
意志
从一开始，机器是否能思考这个问题就给计算科学带来了一丝阴影，艾伦图灵在1950年就提出，机器可以像小孩子一样被教诲。约翰麦卡锡——LISP语言的发明者，在1955年创造了“人工智能”这个概念。在上世纪六十和七十年代，人工智能的研究专家们开始利用计算机来识别图像、翻译文字、理解自然语言而非程序代码，最终计算机会具有思考和说话能力并且会去作恶的观点就慢慢渗透到主流文化中。甚至有点超越了经典电影《2001：太空奥德赛》，1970年的电影《巨人:福宾计划》描述了一个巨大的闪烁的电脑主机给地球带到了核毁灭的边缘。十三年后，另外一个同类题材的《战争游戏》也进行了探讨，该片讲述了1973的西部世界机器人变得疯狂并开始杀戮。
当人工智能的研究偏离了当初的崇高目标，预算也变得紧张，于是人工智能的冬天来到了。即便如此，“智能机器”的火炬在上世纪八十年代和九十年代，被科幻作家弗诺文奇高举和传递下来，他提出和了推广一个经典的概念叫“技术奇点”；研究人员比如机器人专家莫拉维克，计算机视觉方面的权威；工程师兼企业家雷库兹韦尔，1999年《灵魂机器的时代》一书的作者。而图灵则假定了一个像人一样的智能，文奇、莫拉维克和库兹韦尔三人思考的更深远一些：当一个计算机可以独立设计解决方案来达成目标时，它同时就很有可能具有了反思的能力——进而就能够修改程序使自己变得更加智能。在很短的时间内，这样的计算机更很有可能设计更适合自己的硬件。
就像库兹韦尔描述的那样，如此会开启一个美丽的新纪元。这样的机器会具有洞察力和忍耐力（皮秒单位）来解决纳米技术和星际飞行的中的问题。它们会帮助突破人类的条件限制并且能够让我们把意识变成不朽的数据，智慧将分散遍布到整个宇宙。
你同样可以听到与如此阳光乐观态度截然相反的说法，史蒂芬霍金就这样警告说，因为人类是无法与强大的人工智能抗衡的，这很可能会导致人类的终结。在读完《超级智能》之后，企业家艾隆•马克斯在推特上说，“希望我们不只是数字超级智能生物的引导装载程序。但不幸的是，这越来越变得可能”，马斯克随后给未来生活研究所投资了一千万美元。与博斯特罗姆的中心不同，这个组织的目的是致力于缓解人类面临的生存风险。
没有人会说现在就有那种超级智能存在，事实上，我们还没有清晰的路径或者是解决方案来实现一个通用的人工智能。关于人工智能的最新进展，比如苹果公司的Siri语音助手到谷歌的无人驾驶汽车，同样也揭示出当前技术的严重限制，两者在面对未知场景时都会变得不知所措。人工神经网络可以实现自学并且在一大推图片中识别出猫咪，但是前提是必须有成百上千的样本，即使这样其准确性也不是特别高。
怀疑论者如布鲁克斯，iRobot和反思机器人的创始人，在这一点上也有话说。即便是相比以前电脑的功能，能认出一只猫确实令人印象深刻，但是这台机器没有意识——它并不知道猫是什么以及图片上发生了什么，更别说无数的人类所具有的洞察力。从这种角度来看，人工智能会发展向智能机器，会从事更多的工作——这点会超出像博斯特罗姆这些人的想象。而且即使如果能够实现，也未一定要把人工智能发展到具有知觉的能力。
基于当前人工智能的情形来推断，就说它迫在眉睫，“简直就和看到了内燃机的出现就跳跃式的想到星际舰队立马就能实现一样”，布鲁克斯最近在Edge.org文章中写道，“那种邪恶的人工智能无需担忧，至少几百年内不会出现”。
保险政策
即便超级智能出现的几率非常遥远，或许这也是不负责任的冒险。一位加州大学伯克利分校计算科学的教授斯图尔特J.罗素分享了博斯特罗姆的观点。罗素和彼得诺维格（库兹韦尔在谷歌的同事）合作完成了《人工智能：一种现代方法》，该书是近二十年内的人工智能领域经典教科书。
“很多聪明的学者没有找到门路”，罗素告诉我。他指出，在过去十年里人工智能已经有了非常大的发展，而且当公众或许可以用摩尔定律来理解这个进展，实际上，当今的人工智能是非常基础的，像深度学习技术的应用，让计算机不断加深它们对世界的理解。
因为谷歌、脸书以及其它公司积极探索实现智能的、学习的机器，他推理到，“在未清楚考虑所有的潜在风险之前，请不要去全力发展超级智能这件事，否则就有些愚蠢”。罗素同时做了一个类别，“这就像是聚变研究，如果你问一个研究人员他在做什么？他们会说他们正致力于密度封，如果你想要无限的能量，你最好包括聚变反应”。类似的，他说，“如果你想要无限的智能，你最好指出如何让电脑根据人类的需求摆放”。
博斯特罗姆的书就是这样做的研究提议。一个超级智能将像神一样，但是它将会因为恨或者爱做什么，那取决于我们（就是工程师），就像任何父母，我们必须教给孩子们一系列具有正能量的人性的价值观，我们基本上是在告诉一个神让它知道应该如何对待我们人类自己。怎么继续？
博斯特罗姆从思想者以利以谢尤德考斯基得到的一个观点，利以谢尤德考斯基曾经提到，“相干外推的意志”——那就是每个人的“最好自我的”共识来源。我们希望人工智能将会给我们一个富裕、幸福以及满足的生活：治愈背伤以及帮助我们登陆火星。由于我们人类永远不会在一件事上达成完全的一致，我们有时需要它来为我们决策——立足全局帮助人类获取最好的决定。然后我们如何把这些价值观植入到我们的超级智能（或者是潜在的超级智能）呢？哪种数学算法能够定义它们？这些都是问题，博斯特罗姆觉得都应该现在解决，“这是我们这个时代的首要任务”。
对于老百姓而言，没必要因为邪恶机器人的事情而杞人忧天，以我们现在的技术水平离超级智能还远着呢。再唠叨一下，那些全球大公司热衷于研究如何让他们的电脑更加智能，确实，真正的人工智能会让这些公司取得不可思议的商业成就，但是他们也必须要充分考虑到这件事情的潜在负面影响并且能够清楚的知道应该如何避免。
这里还有一些更细致的建议——没有所谓关于人工智能不断逼迫的威胁，这是未来生活研究所（获得马斯克捐助的一个组织）官网上一篇公开信的论调，信中呼吁，应当在避免潜在陷阱的同时最大化从人工智能研究中获益，而不是一味的强调其潜在的灾难威胁。联名签字的不仅仅有人工智能的门外汉比如霍金、马斯克和博斯特罗姆，还有突出的计算科学家（如丹尼斯哈萨比斯，顶级人工智能专家）。你可以看到他们的背景，毕竟，如果他们开发的人工智能没有传递人类正能量的价值属性，那就意味着他们没有聪明到能够控制他们创造出来的东西。
原文发布时间为：2015-02-24