今年夏天，Elon Musk发表了演讲，说“人工智能是人类文明存在的根本风险。” 马斯克举了一个人工智能摘草莓的例子。这个AI的使命就是采摘草莓。这看起来似乎是无害的，但随着AI重新设计自己，把自己变得更加高效，它可能会决定提高产出的最佳方法便是摧毁文明，并将整个地球的表面变成草莓田。因此，在追求一个看似无害的目标时，AI可能会在无意间导致人类灭绝。
当硅谷试图想象超级智能的时候，它所提出的是没有限制的资本主义
对大多数人来说这很荒谬，然而却有很多技术人员认为这揭示了真正的危险。为什么？也许是因为他们已经习惯了以这种方式运作的实体：硅谷科技公司。
考虑一下：谁追求目标却不注重潜在的消极后果？谁采取焦土政策（军队撤退时销毁一切敌军可利用之物）来增加市场份额？每个科技创业公司都希望能像这个假设的草莓采摘AI一样：以指数速度增长，并摧毁其竞争对手，直到获得绝对垄断。超级智能的概念定义并不明确，人们可以随心所欲地设想。但是，当硅谷试图想象超级智能的时候，它所提出的就是没有限制的资本主义。
在心理学方面，“洞察力”一词用来表示对自我状态的认识，例如一位精神病患者意识到自己患有疾病。更广泛地说，它描述了在自己的行为中识别模式的能力。这是元认知的一个例子，或者说思考自己的思想，大多数人都能做到这一点，但动物却不行。我相信，测试AI是否真正达到人类水平的认知能力，最好的方法就是看AI是否具有这种洞察力。
而洞察力正是Musk举例中的摘草莓AI所缺乏的，就像所有其他在类似的世界末日场景中摧毁人类的AI一样。我曾经觉得奇怪的是，这些想象出来的AI应该十分聪明，可以解决人类无法解决的问题，但是它们却无法做到绝大多数成年人都能做的事情——退后一步看，想想自己这样做是不是真的好。然后我意识到，我们早已被缺乏洞察力的机器所包围，我们只是将这些机器称之为“公司”（Corporation）。当然，公司并不是自主运作的，掌管这些公司的人大多是有洞察力的，但是资本主义并不鼓励这种洞察力。资本主义主动削弱了人们的这种能力，要求他们用“市场决定的”来代替自己对什么是“好”的判断。
监管AI的问题不是“谁允许我”，而是“谁来阻止我”
由于企业缺乏洞察力，我们期望政府出来监管，但互联网几乎完全不受监管。早在1996年，John Perry Barlow就发表了一个宣言，声明政府对网络空间没有管辖权，在20年的时间里，这个概念已经成为了科技工作者的公理。这导致了毁灭人类文明的AI和硅谷科技公司之间的又一个相似之处：缺乏外部控制。如果你向一个AI预言者建议，人类永远不会授予AI那么多的自主权，那么你从根本上误解了这种情况。人们认为监管AI的问题不是“谁允许我”，而是“谁来阻止我”——硅谷甚嚣尘上的自由主义。
创业文化的精神可以作为毁灭性AI的发展蓝图。“快速行动，打破事情”曾经是Facebook的座右铭；他们后来把这句话改为“稳定的基础设施，快速行动”，但Facebook说的是保留他们自己建造的东西，而不是其他人的东西。这种将世界的其他地方视为自己颠覆目标的态度，或许会为AI毁灭世界埋下伏笔。当Uber希望拥有更多新车的司机时，解决办法是说服信用不良的人去购买汽车贷款，然后直接从收入中扣除款项。他们认为这是破坏汽车贷款行业，但其他人都认为这是掠夺性贷款。
科技企业家认为，“颠覆”是积极正面的，而不是消极的。如果一个超级智能人工智能向天使投资者提供资金，将地球表面转换成草莓田，不过是对全球土地使用政策的长期拖延而已。
有业界观察人士谈及AI需要有道德，有人建议我们要确保任何超级智能都是对人类“友善的”，这意味着他们的目标是符合全人类发展的。我却认为这些建议具有讽刺意味，因为我们作为一个社会，并没有教导企业拥有道德，我们没有做任何事情来确保Facebook和亚马逊的目标与公共利益相一致。但我对此并不应该感到惊讶。如何创建友好的人工智能这个问题，比考虑行业监管问题更有意思，就像想象在僵尸大战世界末日，比思考如何缓解全球变暖更有趣一样。
最近人工智能已经有了一些令人印象深刻的进步，比如AlphaGo Zero，它在几天内就成为了世界上最厉害的围棋玩家。但是这并没有让我担心超级智能AI“觉醒”的可能性（一方面，AlphaGo Zero的技术对于物理世界中的任务是没有用的；我们距离实现一个能够走进你的厨房，帮你做一份炒鸡蛋的机器人，还有很长的路要走）。我更关心的是谷歌、Facebook和亚马逊的权力集中。他们已经到达一种非常反竞争的市场支配地位，但是由于它们的运作方式并没有提高消费者的价格，所以不符合传统的垄断标准，因而避开了政府的反托拉斯监督。我们不必担心谷歌的DeepMind研究部门，我们需要担心的是，如果不使用Google的服务，几乎不可能运行一个在线业务。
甚至可以说，对超级智能AI的恐惧是谷歌、Facebook这些高科技巨头的故意策略，它们将我们的注意力从它们自己正在做的事情中分散出去，这些公司正在向广告商销售他们的用户数据。如果你怀疑这是他们的目标，问问自己，为什么Facebook不提供一个付费的没有广告、并且不收集私人信息的版本？ 智能手机上的大多数APP都提供了删除广告的高级版本; 如果这些开发者都可以实现，为什么Facebook不能呢？因为Facebook不想这样做。它作为一个公司的目标不是把你和你的朋友联系起来，而是让你看到广告，同时让你相信这是为了你的利益，因为这些广告是有针对性的。
所以如果马克·扎克伯格对有关AI威胁的警告是为了分散注意力而提出的不相干论点，那么这种警告是有意义的。但他不是; 他其实对AI非常自满。对超级智能AI的恐惧可能是末日审判者那样的情况。这并不意味着它们反映了真正的威胁; 它们反映的是技术人员无法把适度作为一种美德。像比尔·盖茨（Bill Gates）和伊隆·马斯克（Elon Musk）这样的亿万富豪们认为，超级智能AI将会不择手段地实现其目标，因为这是他们的态度。（当然，他们已经参与其中，他们看到这个策略是没有错的；只是别人有可能比他们做得更好，这让他们担心。）
硅谷已经不自觉地将自己的形象塑造成一个魔鬼
有一种说法是由弗雷德里克·詹姆森（Fredric Jameson）推广的，想象世界末日比想象资本主义的终结更容易。硅谷资本家不想去思考资本主义的结局也就不足为奇了。令人意想不到的是，他们设想世界末日的方式是通过一种不加控制的资本主义形式，伪装成超级智慧的人工智能。他们不自觉地以自己的形象创造了一个魔鬼，一个超自然的妄自尊大的人。
这使我们再次认识洞察力的重要性。有时洞察力会自发地产生，但很多时候却不会。人们常常为了追求某个目标而被带跑偏，在被朋友和家人或治疗师指出之前，他们可能不会意识到这一点。听这种唤醒电话被认为是心理健康的一个标志。
我们需要机器唤醒，而不是电脑变成自觉的意义，是让企业认识到自己行为的后果。硅谷的公司应该认识到，增加市场份额并不是忽视所有其他考虑的好理由。 个人在经历了一个唤醒电话之后经常重新评估他们的优先级。我们需要的是公司也要这样做：不要完全放弃资本主义，而是要重新思考它们的实践方式。我们希望他们表现得比他们所担心的人工智能更好，并展现洞察力。
原文发布时间为：2017-12-21
本文作者：Ted Chiang
原文链接：【《降临》作者批硅谷正变成恶魔】提起超级AI时，硅谷想到的是资本主义
