近年来，人工智能这个话题大热。一些科幻电影中，人工智能的发展最终无法抑制，成为了人类文明的终结者。一些大牛们，如比尔盖茨、霍金，都对人工智能的发展提出了警告；不过也有人认为，人工智能在现在阶段并不是什么威胁。
2014年，SpaceX的CEO Elon Musk发推说：“Bostrom的《超级智慧（Superintelligence）》非常值得一读。对待AI，我们需要小心翼翼。”同年，剑桥大学的宇宙学家史蒂芬·霍金（Stephen Hawking）在接受BBC的访问时说：“完全的人工智能（full artificial intelligence）的发展可能会导致人类的终结。”微软联合创始人比尔·盖茨（Bill Gates）也警告说：“关于AI，我持谨慎怀疑态度。”
关于AI带来的世界末日将如何展开，计算机科学家Eliezer Yudkowsky在2008年发表的《全球灾难风险（Global Catastrophic Risks）》中提出：AI在未来从单细胞生物发展到人类智力水平的可能性有多大呢？他回答道：“形成一个物理意义上的大脑是可能的，其计算的速度是人类大脑的一百万倍....如果人脑因此而加速，主观上一年的思考将在31秒内就完成了，一千年将在八个半小时内就过去了。”Yudkowsky认为，如果我们不这么做就太晚了：“人工智能所运行的时间维度与我们不同，当你的神经元完成思考说‘我应该做这件事情’时，你已经错过时机了。”
牛津大学哲学家尼克·博斯特罗姆（Nick Bostrom）在他的《超级智慧（Superintelligence）》中提出所谓的回形针最大化的思想实验：一个AI被设计来制造回形针，并且在耗尽其最初的原材料供应之后，它将利用在其可达范围内的任何可用原子，包括人类。正如他在2003年的一篇论文中所描述的那样，从那时开始“首先转化整个地球，为回形针制造设施增加空间”。短时间内，整个宇宙都由回形针和回形针制造器组成。
对此，我表示怀疑。首先，所有这样的末日情景都涉及一长串的“如果-那么（if-then）”意外事件，在任何点的失败都会推到所谓的世界末日。西英格兰布里斯托大学的电气工程教授艾伦·温菲尔德（Alan Winfield）在2014年的一篇文章中这样说：“如果我们成功地构建与人类相同的AI，如果AI对它如何工作有着充分理解，如果它成功地改善自身成为超智能AI，如果这个超级AI意外或恶意地开始消耗资源，如果我们不能拔插头断电，那么，是的，我们可能有问题。这种危险，不是不可能，是不太可能发生。”
第二，如果按照时间段来检查的话，会发现人工智能的发展远低于预期。正如Google执行主席埃里克·施密特（Eric Schmidt）在回应马斯克（Musk）和霍金（Hawking）时所说：“你认为人类不会注意到这种情况吗？你认为人类不会关闭这些电脑吗？”谷歌自己的DeepMind开发了一个AI关闭开关的概念，被戏称为“大红色按钮“，可以用来接管AI。正如百度副总裁吴安民（Andrew Ng）所说的那样（回应Musk），“这就像是我们甚至还没有踏上火星，就在担心火星上会人口过剩。”
第三，AI的末日情景通常基于自然智能和人工智能之间的错误对比。哈佛大学实验心理学家Steven Pinker在对2015年Edge.org年度问题“你对机器思考有什么看法”的回答中阐明：“AI反乌托邦项目将一个狭隘的阿尔法男性心理学投射到智力概念上。他们认为，超人类的智能机器人将‘放弃他们的主人或接管世界’作为自己的发展目标。”同样地，Pinker说道，“人工智能将沿着雌系自然发展——能够完全解决问题，但不会想要消灭无辜或支配文明。“
第四，暗示计算机将“想要”做某事（例如将世界变成回形针）就等同于AI有情感。正如科学作家Michael Chorost所言：“AI真的想要做某事时，它将会生活在一个有奖励和惩罚的宇宙中，这其中就包括来自我们对不良行为的惩罚。”
鉴于历史上对世界末日的几乎为0的预测率，加上人工智能在几十年来缓慢发展，我们有足够的时间建立故障安全系统，防止任何这样的人工智能所带来的世界末日。
本文来自开源中国社区 [http://www.oschina.net]