阿西莫夫三大定律
在短篇小说集《Robots Included》中，我对实现AGI后可能取得的进步进行了深入探讨。虽然故事创作的时间并不很久，但从头至尾都没有提到过ASI。创作故事期间，我从未听说过ASI，甚至没有想过这个概念。这些故事主要围绕阿西莫夫机器人三大定律（Asimov’s Three Laws of Robotics）展开，旨在识别一些最为突出的漏洞，这位具有传奇色彩的作家的绝大部分机器人故事都采用这项定律策略。阿西莫夫博士的三大定律如下。
第一定律：机器人不得伤害人类，或坐视人类受到伤害。
第二定律：除非违背第一定律，机器人必须服从人类的命令。
第三定律：在不违背第一及第二定律下，机器人必须保护自己。
我们已经明确地意识到，实现AGI后，不久将会实现ASI，第一定律和第二定律将无法妥善保护我们免受自己所创建的新物种的伤害。根据他们的观点，第二定律和第三定律同样无法提供充分的保护。因此，我们亟需构思一些更有效的定律。这项目标十分明确，我们必须立即着手实现这一目标，但事实上说时容易做时难。负责开展这些项目的科学家们已经发现，即使是定义基本元素这样的任务也非常困难。在研发AGI的杰出科学家当中，有多少人认真为其创造的机器人设计了人性化算法？毫无疑问的是，并非所有科学家皆是如此，尤其是那些全心全意开发智能战斗机器人的科学家们，战斗机器人目前已经投入使用，这或许会令人大吃一惊。一些战斗机器人已经杀死了人类，但迄今为止，却无法以杀人犯的罪行对机器人治罪。
不过，只要我们可以控制创造的成果，那么必将带来改变生活的巨大福祉。这样不仅可以为我们完成各项工作，还能丰富我们的生活，然而此刻还仅限于想象。很可能会呈现一个利于发展和探索的黄金时代，造福我们所有人。一些专家对此进行了精确预测，但另外一些专家的预测则很悲观。谁才是正确的？大家认为呢？
现在，我不得不提到意识这个概念。我们有意识，动物也有意识，当然包括狗和猫，观察过鸟类行为的任何人都了解鸟在做什么。但是，昆虫呢？它们在想什么？而今，一些机器人似乎已然可以模仿昆虫。大脑需要多大（更确切地说，是多强大）才能具备主人意识？软件需要多么复杂？或许有人已经在某个角落开发出了具有简单意识的机器，并且设计了学习软件对其进行激活。
如果AGI的智慧与我们相当，AGI是否具有意识和知觉？这是一个广泛的主题，目前仍在激烈讨论之中，特别是某些评论家还将其与人类灵魂的概念联系到一起。
或许，我们可以将意识比作核爆炸的实际临界质量，若有足够的裂变物质快速聚合到一起，那么必定会引发爆炸。也许等到大脑结构具有足够的通路和连接，而且软件足够广泛后，就会自动产生意识。时间会证明一切! 一些专家甚至已经开始担心互联网及其快速发展。同样，每次上网往往都会在新的桌面上发现一些诡异的现象，让我来想想看！
那么，目前我的结论是什么？你的结论又是什么？起初我们面临的威胁似乎是硬件预备状态。当具备构建临界质量大脑所需的大脑单元、芯片和足够强大的组件后，开发人员自然就会开始将它们出售给尽可能多的客户。接着，买主将会在其中下载自身创建的智能软件，无论在任何条件下都将如此。在我看来，这种情景听上去非常危险。
重大新闻：2015年9月20日
根据目前的最新消息（经过再次修正），目前有一些传闻，说是一家美国超级计算机公司（可能是Cray）现已组装出一款智力与人类大脑相媲美的处理系统。从技术进步不断加快的角度而言，这一传言并不令人惊奇，但促使超级计算机组件实现真正的智能化和感知性所需的智能学习算法准备得如何？可以肯定的是，时间会证明一切，也包括这款机器的IQ水平。
继续发展……你可能会建议，在某种情况下，政府必须控制大脑单元的原材料市场，但可行性如何？还有足够的时间启动这一过程并做出保证吗？我们能真正防止任何人（包括潜伏在世界各地的违法犯罪分子）偶然、无意乃至蓄意启动智能欺诈机器、机器人、无人机等吗？
我认为现在有必要看看各类专家就这一课题发表的一些相关评论，另外我个人发表了几点近乎幻想的推测性观点。在我看来，关于这一主题，我所读过的最精彩的虚构系列小说是《The Avogadro Corp》。如果你也想尝试，不妨阅读这本小说以及William Hertling所著的续篇，其中做出了非凡的、发人深省的分析，而这可能正是我们所期望的。希望我的表达还算清楚。
在本书的第5章，我给出了一份清单，列出了我曾经阅读或举例的一些科普读物。这份清单无法面面俱到，因为我还会不断学习、阅读和研究这个主题。这些读物对这一奇点主题的研究远比我在本书中阐述的内容更详尽、更深入。大家可能会对清单中的图书数目感到惊奇，但数量只会继续增加，因为其他人也会对我们一生中可能会遭遇的骇人经历不断地有所感悟。
通读清单所列的大部分图书之后，我确信未来人类必然会遇到一些难以逾越的障碍，以及许多鼠目寸光的人无法解决的问题。显而易见，数字应用竞赛新进展不断涌现，并且仍以惊人的速度继续发展。除了20世纪40～50年代少数英明的未来学者和思想开明的科幻作者，谁曾想过几个（I/O）电子开关交换器会引领我们目前所经历的这场令人振奋的数字革命？虽然很多方面无法推断和预测，但不可否认的是，事态一直在变化，速度远非我们所能想象，而这一变化很可能直接引发奇点！
