LSTM之父于尔根·施密德胡伯访谈:早在25年前,人工智能就具有意识了

雷锋网按:于尔根·施密德胡伯(Jürgen Schmidhuber)可谓深度学习的元老,他在1992年提出了多层级网络,利用无监督学习训练神经网络的每一层,再利用反向传播算法调优。而在1997年,他与 Sepp Hochreiter 共同发表了一篇论文,提出了长短期记忆(LSTM)的概念。

LSTM 能够提升神经网络接受输入信息及训练数据的记忆机制,让输出结果得到大幅度的提升。但是,这一概念远远超越了当时的计算机硬件水平,以至这一想法直到近年才广为人知。比起如今更为知名的 LeCun、Ian Goodfellow、Hilton而言,施密德胡伯似乎名气不大,但包括谷歌在内的研究机构都开始采用 LSTM。他曾经表示:“没有任何原因说明,机器不能拥有好奇心和创造力”,而近日Inverse对施密德胡伯进行的一次访谈,则更能看出这位科学家对于人工智能的前瞻与展望。雷锋网(公众号:雷锋网)编译如下,未经许可不得转载。

在你心中,人工智能在未来会承担怎样的角色?

所有的智能——不论是人类的还是人工的——都基于一个主题,那就是解决问题。长期以来,我们一直在致力于构建一个解决通用问题的机制,不论这些问题是困难还是简单。这个问题解决机制能够通过先前学习的技能解决现有的问题,通常,机器会将新的技能增加到计算指令系统中,并能够解决越来越通用的问题。当然,如果到达我们所预想的成功,一切将会发生翻天覆地的改变,因为每个计算问题或每个专业性研究都将受到影响。

您认为一些人工智能已经具有意识。请问您是否能对此做一些解释?

我想指出的一点是,我们早在25年前就拥有了少量的、基础的且有意识的学习系统。回顾彼时,我已经提出通用学习系统由两个模块组成。

其中一个为递归网络控制器,能够学会对输入的数据(比如视频或平面指示牌)翻译为具体操作。举个例子,当你机能不足时,身体会释放饥饿信号向你发出警告。而神经网络能够将这些信号转换为行动的操作序列。同样是上述情况,那么人体就会意识到自己饿了,并寻找“能够充电”的东西(吃的),而与此同时,人体还会注意不要磕碰到桌椅,以避免痛觉发出信号。

如果把人体当作一个处理器,那么身体的人生目标便是尽可能将愉悦感最大化,并减少痛苦。这个目标非常简单且具体,但很难实现,因为你需要通过大量的学习。想象一个襁褓中的婴儿需要经过多少年的学习,才能懂得和这个世界共处。

自1990年开始,我们同样也对机器开始做同样的事情,即采用无监督学习训练神经网络,并进行反向调优,这个模型能够预测未来将要发生的事情。看着以前执行的操作并进行观察,学会预测未来——因为它是一个会反复出现的网络,在某种程度上可以理解为可预测的代码。

比如,视频里出现了100个苹果掉落,而且每个苹果掉落的方式都是相同的,那么你就能预测出苹果掉落的方式。甚至也不需要单独存储(每个苹果掉落的模式,因为都是一样的),也不需要占用你脑袋太多的内存。

随着与环境的交互越来越深入,大量的数据也涌入其中,无监督模型网络,也就是我在1990年就提出的新模式,学会了发现新的规律,或是对称性,或是反复性。它也能学会用更少的计算单元处理数据,也就意味着更少的存储空间与更少的时间。曾经被誉为意识的东西,实际上在学习的推移中变成了自动化与无意识的活动。

随着神经网络的发展及学习了更多规律后,机器能够判断无监督模型的解析需要多少计算量。这也是神经网络的有趣之处:从一个数字,到第一层网络,到能给回馈信号最大化的控制器——就像科学家突然发现了新的定律一样。

您能向我们解释一下,我的意识与经历主要是什么内容组成的吗?

当我们身处这个世界,实际上我们会见到很多人的面孔。而这些记忆被压缩在你的大脑里,以一个类似反向网络的形式存在着。“面部编码器”,也就意味着有一个类似刻板印象的面部数据库。当你遇到一个陌生人时,你需要做的就是将这些新的偏差元素进行编码。

我还是不太明白这和我们所说的意识有什么联系。

意识实际上可以理解为一个中间处理系统,而这个中继器与世界交互的过程中,它会发现自己本身就是与世界交互的最佳形式。

出于数据压缩的原因,如果能设置一对神经元,实际上对反向模型神经的编码非常有效。它能够压缩以往所有的行动和感知,通过创建个性化符号及代理器的附加符号(比如手、脚还有随便什么东西)。在寻找一个新问题的解决方案时,这些神经元会被激活,并开始处理这些问题。

这也是我们1991年所在做的事情。诚然,这是一种基本的意识形态——并没有你自己的那么令人印象深刻,毕竟你的大脑比起人工代理器而言简直是庞然大物。人类大概有着10万亿个连接,而当今最大的 LSTM网络也只有10亿个连接。因此,你的皮质是LSTM网络的10万倍,可以携带的意识自然也比我们的小小人工处理器更多。不过,我们注意到了计算界也有摩尔定律——每五年,计算成本就会便宜十倍。因此,也许只需要25年,我们就能拥有和自己大脑一样多的连接的LSTM网络,而且造价也更便宜。

而这些连接自然会比我们的人工大脑所构建的连接要慢得多。

在技术术语中,真正的挑战被称为“意识的难题”。也就是体验。哲学家们倾向于把它称为“qualia”(感受)。当你拥有一种体验——比如看日落,听最喜欢乐队演奏你最喜爱的歌曲,闻到卡布其诺的香味,等等——这是一些抽象的体验,但无法说明原因。哲学家David Chalmers把它称之为是一个“意识难题”,他表示,“为什么这些外在的物理过程会让内心得到丰富的感受?”你认为神经网络模型也能够再现这种“qualia”,也就是人工智能?

我认为这是可以实现的。在行为上,我们的人工智能有着相似的原理。当我们把AI与其它会伤害后者的两个代理器放在一起时——比如把它们设定为捕食者与猎物的关系——其实它们不希望受到伤害。当一个人工智能模型遭到一次攻击,后者的疼痛系数会显示上升。当然,它会学着预测与避免,比如躲在帘子后面,或模拟对方的行为。因此,从人工智能自行学习的过程中来看,你可以发现它并不喜欢这样做。

当然,这是我们观望了很长一段时间后而得出的结论。我们的人工智能尝试避免疼痛,并试图追求最大化的乐趣与内心的愉悦感——因为内置了一个效用函数与奖励机制,机器会让这个目标最大化。

当然,人类也有这样的奖励功能,并已经根植于每个新生儿的体内。这些行为至少在高等动物上非常常见。因此,我们没有理由相信这是不可复制的。

这似乎就像你发明了一种全新的语言来讨论我们自己的思想。当你反观自身时,如果把自己设想为一台电脑,会想些什么呢?“我的更高层的大脑层级正在处理这个问题,而我更低的大脑层级正在处理这些自动的过程。”你会以这样的方式内省吗?

对呀。我经常在想,这些内省的思考是否源自第一原则,而我是否可以在我自己的思维中重新发现这些内容。我相信自己可以做到这一点,虽然我知道,很多人会被这种想法所欺骗,但于我而言,这仿佛是显而易见的:或多或少与我正在做的事有关。对我来说,显然不需要别的东西来解释意识。我也相信,理解意识的所有基本成分都已经存在了四分之一个世纪。神经科学的研究者们或许不知道人工智能的神经网络领域已经发生了怎样的变化,他们尚未意识到这些简单的基本原则。但我相信,他们会更多地了解这一点。这也是我希望看到的。

最近在纽约,我在一次关于伦理和 AI 的会议发表了演讲。一名观众提出了一个尖锐的问题,不过我以自己在在上世纪80年代一个小型会议上所说的原句回应了他:“我必须承认:我的公司正在制作 androids 机器人,而我会把自己当作原型。我可能不具有意识,但我善于伪装这一点。”

via inverse

【兼职召集令!】

如果你对未来充满憧憬,喜欢探索改变世界的科技进展,look no further!

我们需要这样的你:

精通英语,对技术与产品感兴趣,关注人工智能学术动态的萝莉&萌妹子&技术宅;

文字不求妙笔生花,但希望通俗易懂;

在这里,你会收获:

一群来自天南地北、志同道合的小伙伴;

前沿学术科技动态,每天为自己充充电;

更高的生活品质,翻翻文章就能挣到零花钱;

有意向的小伙伴们把个人介绍/简历发至 guoyixin@leiphone.com,如有作品,欢迎一并附上。

本文作者:奕欣

本文转自雷锋网禁止二次转载,原文链接

时间: 2025-01-21 10:01:31

LSTM之父于尔根·施密德胡伯访谈:早在25年前,人工智能就具有意识了的相关文章

PaperWeekly 第39期 | 从PM到GAN - LSTM之父Schmidhuber横跨22年的怨念

作者丨郑华滨 学校丨中山大学硕士生 研究方向丨GAN,文本生成,OCR 知乎专栏丨AI带路党 前段时间我受极视角邀请,在斗鱼上直播分享有关 GAN 的话题.考虑到现在网上关于 GAN 的文章.视频都已经非常多了,所以我就故意选择了一个之前没有什么人讲过的主题:LSTM 之父 Schmidhuber 与 GAN 之间的恩怨纠葛.其实这件事在英文网上传播得还挺广,而且除了八卦之外也有一些严肃的学术讨论,可惜相关的中文信息寥寥,不过这样倒正好给我一个机会来给大家介绍一些新内容. 其实相比视频直播我还是

"LSTM之父"Jürgen Schmidhuber:我一直在努力实现三十年前的目标 “AI奴役人类”很愚蠢

9月12日上午,南京金秋洽谈会"2017中国人工智能峰会(CAIS 2017)"在南京国际博览会议中心盛大开幕.本次峰会以"创新.变革.突破"为主题,并设两大主题论坛,共吸引了30余位人工智能领域著名的科学家.企业领袖亲临现场,1500余名专业观众报名参会,雷锋网作为受邀媒体参加了本次峰会并进行了报道. 在大会上,瑞士人工智能实验室 IDSIA 主任."LSTM之父"Jürgen Schmidhuber发表了名为<True Artifica

easyui中combotree循环获取父节点至根节点并输出路径实现方法_jquery

前台页面: <pre name="code" class="html"><td style="height: 35px" colspan="7"> <input id="fm_AEType" class="easyui-combotree" style="width: 240px" /> <label id="fm_

IDF2012施浩德:个人计算极致之旅

英特尔公司全球副总裁施浩德在管理了七年的数据业务之后,讲解如何进一步变革个人的计算体验.这是本届IDF的第二个主题演讲.走在后互联网时代与云计算时代的前端,形形色色的终端设备正在改变着人们的生活. &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 2011年,中国超过美国,成为世界第一的PC市场,这个趋势不会扭转了.中国的购买个人电脑的能力在不断的增加.也就是说在2015年之前,发现中国能够购买得起个人电脑的消费者

英特尔董事会不满欧德宁表现

据国外媒体报道,英特尔向美国证券交易委员会披露的信息显示,公司首席执行官保罗·欧德宁(Paul Otellini)在2012年的薪酬总额达到1890万美元,较上年增长了10%. 欧德宁2012年薪酬的增加,源自于他收到的股票和期权数量的增长.事实上,英特尔董事会对欧德宁去年的绩效并不满意,因为欧德宁去年收到的现金奖金为523万美元,较上年下滑了19%.虽然英特尔董事会希望欧德宁继续担任公司首席执行官,不过欧德宁在去年年底已经宣布,他将会在今年的年度股东大会时退休. 在5月16日英特尔年度股东大会

汤唯现身首尔被传密会玄彬经纪人否认(图)

汤唯现身首尔街头(1 /7张) 女星汤唯与韩星玄彬合演韩片<晚秋>被传来电,目前在韩国海军陆战队服役的玄彬,上周六结训休假回到首尔,隔天汤唯就被目击现身首尔街头, 网友怀疑:"时间点太巧合,两人一定是情侣!" 据台湾"苹果日报"报道,汤唯和玄彬去年拍摄<晚秋>,片中两人跨越国籍.语言隔阂,戏中默契十足.两人在出席<晚秋>记者会时,虽语言不通,但汤唯似乎很懂玄彬,熟稔地说:"玄彬是慢熟的男人,绝不可能在3天内爱上一个人,一

施密称对谷歌中国获ICP牌照延期有信心

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 据国外媒体报道,谷歌CEO埃里克·施密特(Eric Schmidt)周三表示,对谷歌获得中国ICP牌照延期很有信心. 施密特是在出席美国太阳谷媒体峰会时发表上述评论的.他预计,谷歌的在中国的ICP牌照延期申请将获得批准,但并未给出时间表. 施密特说:"我们预计将获得必要的许可.我们预计将获得延期." 自今年3月起,访问Go

谷歌董事长施密特批NSA监控:粗暴且非法

[导读]施密特表示,谷歌已经向美国国家安全局 提出了投诉.腾讯科技 瑞雪 11月5日编译谷歌(微博)执行董事长埃里克施密特(Eric Schm idt)周一对有关美国 政府监控该公司数据中心的报道作出了回应,称此种行为令人"震惊"且十分"粗暴",如果得到证实则可能采取法律行动.施密特在接受CNN采访时表示:"我对美国国家安全局(NSA)会做这种事情 感到震惊--此举很可能违反了法律的规定,而且 肯定违背了该局的使命."施密特称:"如果国

IDF2011:施浩德主题演讲 未来的云计算

9月13日-15日,英特尔http://www.aliyun.com/zixun/aggregation/14054.html">信息技术峰会在美国加州旧金山举办.峰会首日,英特尔架构事业部副总裁兼英特尔数据中心事业部总经理施浩德先生发表了主题为"未来的云计算"的演讲. 更多的智慧互联正在发生 在计算呈现爆炸式的发展的今天,更多的智慧互联正在发生,施浩德先生表示到2015年,将有10亿人使用有凌动芯片的设备,希望能将150亿台设备互联起来,他相信我们所交付的摩尔定律速度