深度学习理论研究已进入瓶颈期?看看李飞飞们怎么说

AI圈推特红人,Keras框架的作者François Chollet又搞大新闻了!近日François Chollet在推特上发推称:“深度学习研究已经进入了瓶颈期。将深度学习应用于解决现实生活问题的应用正在迎来一个大爆发。”

这条推特下很快获得了上千个赞、数百转发,以及一系列热烈讨论。从回复中看,不少回复者(尤其是产业界人士)认为,“深度学习进入平台期”的提法值得商榷,雷锋网节选了其中几条:

Buzzfeed首席数据科学家、哥伦比亚大学客座助理教授Adam Kelleher:

会不会这只是社交网络造成的样本偏差?

Machinebox.io创始人David Hernandez:

在我看来在“实际问题”的应用上还是很有限。我和不少人聊过,他们往往做的是Chatbot、欺诈检测或者推荐这三类应用之一。

爱丁堡大学助理教授、艾伦·图灵学院Fellow Charles Sutton‏:

我们能不能先讨论整个深度学习的繁荣时代是否已经到来?

Google Research研究员David Berthelot:

我觉得如果你写一篇长文章来解释一下,为什么你认为现在的深度学习已经进入平台期,这对于我和其他读者来说更有启迪性。

CarrerBuilder大数据首席研究员Faizan Javed:

增强学习难道不是新的热点吗?

而Google Cloud机器学习负责人斯坦福大学副教授李飞飞则赞同François Chollet的观点,但同样表示深度学习还有很长的路要走:

同意!大浪淘沙,最后只有少数工具青史留名;学无止境,(深度学习)无论在智力、人力或机器设备方面,都还有很长的路要走。

那么其他人怎么看呢?雷锋网(公众号:雷锋网)就深度学习的理论研究进展与实际应用趋势征询了若干专家的意见:

微软亚洲研究院主任研究员郑宇表示,深度学习爆发的瓶颈在人工智能技术与传统行业的对接:

我部分认同这个观点。目前的数据、技术和基础设施确实已经成熟,可以迎来未来应用的爆发,但能否爆发的瓶颈可能不在技术本身,而在于人工智能技术与传统行业的对接。AI的未来不在IT业,而在于AI跟广大传统行业的融合,如交通、规划、能源、环境、物流、制造和金融等。AI从业者需要学习传统行业知识,理解传统业务的逻辑和痛点,并懂得用传统行业的语言跟行业专家对接。既要帮助革新传统行业,也要懂得尊重传统行业,这需要有很强综合实力的数据科学家。此类复合型人才的培养非常困难、周期长、且不容易量产,可能会成为制约AI大爆发的真正瓶颈。

地平线机器人创始人、前百度研究院副院长余凯对雷锋网表示,深度学习理论研究的主流架构会收敛,很难有革命性的理论突破:

基本认同这一观点。未来学术研究还是会基于当前研究持续进行,但是不会有革命性的,大家的主流架构会收敛,所以后续的重点是深度神经网络在各个具体应用场景的落地部署。

密苏里科大助理教授傅衍杰则用PHP框架化编程类比现在这一波深度学习:

基本同意这两个观点。类似web系统, 当年PHP大行其道,就是因为许多人用PHP编程语言,基于MVC的设计模式,设计了许多web编程框架。现在,深度学习也类似的涌现了许多编程框架 ,比如Tensor flow, Theano, Keras, Torch等等。这些框架使得Deep Learning变得更加易用,实现起来的编程工作量更小,出现错误的可能性更低。所以深度学习的确进入了一个平台期。

结合数据挖掘的研究思路,深度学习通过层次化的学习模型,对研究对象进行表征学习,等于使用隐式的办法去完成表征这一步骤。所以,深度学习是可以放入感知-表征-建模-应用,这么一个很实用也很接地气的解决问题的思路中的。

华为诺亚方舟实验室研究员李震国认为,理论往往是超前于应用的,计算能力的提升和大数据的出现正是印证了之前算法和理论的有效性:

我同意他的观点。不是理论取得了突破,而是算法的有效性由于计算能力的提升和大数据的出现获得了验证。应用会一直是机器学习的重点,同时理论和可解释性会一直被探索。除了GAN, deep meta-learning也值得关注。

密歇根州立大学助理教授汤继良认为,深度学习工程化的门槛越来越低,而理论的门槛越来越高:

深度学习正在两极化。大部分甚至越来越多的深度学习的人会偏向于工程化。包括建立更加全面便捷,快速甚至可视化的深度学习平台,和adapt 甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化:解决深度学习的理论瓶颈包括可解释性等。一个正在发生的趋势是:工程化的门槛越来越低,而理论的门槛越来越高。所以我还是基本认同他的观点 ,但是我们也非常地期待深度学习理论上的突破。

中科院自动化所副研究员张家俊认为,深度学习还未有真正的爆发性大规模成功应用:

我对深度学习理论没深入研究,无法判断理论研究的趋势,不过在应用方面,显然深度学习还未有真正的爆发性大规模成功应用,我觉得在各种实际应用问题中爆发应该是一个趋势。在应用方面,关键的是针对特定应用,理解该领域的数据、场景和背景知识,选择合适的深度学习方法,而不是鲁莽地拿来即用。

结语

雷锋网认为,如果从历史的发展来看,当前深度学习领域的经典算法和理论往往都是已经提出了一段时间,而随着计算能力和数据规模的发展,这些经典理论和算法逐步得到了验证。如果从深度学习的问题和挑战、以及解决问题的思路来说已经发展得比较完备,因此说深度学习“进入平台期”也是不无道理。但从另一个角度看,进入“平台期”的可能是一些深度学习的经典问题,但如果对于这些经典问题继续深入研究,或许能够从中发现之前没有想到的解决方法(例如,在ImageNet图像识别上,在Alex Krizhevsky用GPU死磕将效果大幅度提升之前,大部分人应该都不会想到AlexNet)。正如李飞飞所言,学无止境,深度学习还有很长的路要走 。

本文作者:岑大师

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-10-23 21:44:12

深度学习理论研究已进入瓶颈期?看看李飞飞们怎么说的相关文章

HTC ONE已度过瓶颈期 四季度将发超大屏手机

硅谷网讯 作为HTC中国区的掌舵人,任伟光手里拿着的居然还是去年发布的HTC蝴蝶(Butterly).面对我们的好奇,他毫不讳言One曾经一度面临的元器件短缺问题:"最早是后盖,后来瓶颈变成了我们的Ultrapixel超像素摄像头, 不过现在都解决了." 公司原本给他用过两台One,但因为机器短缺,任伟光把第一台给了新来的同事,第二台给了市场部门做活动用. 不过即便是一度因为元器件问题供不上货,HTCOne也已经在全球范围内卖出了500万台,在台湾地区登顶智能手机销量冠军,而在大陆的销

中国制造已进入瓶颈期

文 张天兵 (作者为科尔尼管理咨询公司全球副总裁) 从2010年开始,跨国公司在华的投资方向出现了明显的变化.首先是不再集中投资产能建设了,而且在产品创新.技术创新上有更大的投入.同时也在加强在华富裕的二线和三线城市的营销能力.这些能够对跨国公司争夺中国消费市场增加很大好处. 而在产能角度,也有两个趋势变化.第一是出现了更多平衡,产能从沿海地区往中国中西部和内地的转移.另外是产能向中国以外的地方转移,包括东南亚.非洲.东欧以及北美墨西哥.东南美洲.值得指出的是,虽然现在这种转移已经开始,但是任何

深度摄像头已过基础期 未来将掀起3D浪潮

众多前沿领域的应用将越来越依赖深度摄像头,就好像VR.机器人.安防等为了得到更精准的体验,这也是为什么国际巨头都在布局于此的原因.深度摄像头(又称3D传感器)从视觉数据获取的角度提升机器感知能力.由于其具有一定的技术门槛,国内外涉足此研发的比较少.集中在国外有苹果.微软.谷歌.INTEL.Oculus.SONY,国内奥比中光.华捷艾米,图漾,乐行天下等.目前,深度摄像头已经渡过技术基础期,方向明确了,将进入3-5年的成长期,未来将掀起3D传感器的浪潮. 别被2D的背景虚化给骗了 3维视觉相比于2

说到心坎了!聊聊设计师的六大瓶颈期

工作中的"瓶颈期"很容易令设计师们手足无措,但事实上,瓶颈期并非不可预见.@Goodmor宁与诸多设计从业者交流探讨后,总结出设计师的六大"瓶颈期"及其应对方法,希望可以帮助更多青年设计师顺利度过 >>> 那么什么是"瓶颈"呢?"瓶颈"就是一种停滞不前的状态;就像瓶子的颈部一样是一个关口,再往上便是出口,如果没有找到正确的方向就有可能一直被困在瓶颈处.不管你从事的是哪一种职业,都需要有一个积累和积淀的过程.

机器学习理论研究方法探讨

本文译自:http://www.alexirpan.com/2016/07/17/ml-sleep.html,原文标题<The Machine Learning Casino>,译文供您参考. 一.机器学习理论研究 机器学习是一种能使计算机半自主地对数据进行分析,并从中学习经验的算法. 机器学习理论的研究听上去就好像做这么一件事,让我们的研究人员去深刻探索,提高计算机学习数据集的效率的方法. 事实上,机器学习理论的研究可以在我们的生活的每时每刻找到影子.就好像你在不断的进行一场赌博,只不过你的

婚恋网站已经步入了瓶颈期

摘要: 婚恋网站细分市场,精准服务已经迫在眉睫婚恋网站已经步入了瓶颈期,这是众所周知的.尽管每天还有很多新的公司加入到婚恋网行业的大军,想要异军突起,拼命挤进前三.但历经 婚恋网站细分市场,精准服务已经迫在眉睫婚恋网站已经步入了瓶颈期,这是众所周知的.尽管每天还有很多新的公司加入到婚恋网行业的大军,想要异军突起,拼命挤进前三.但历经了两到三年的折腾,目前婚恋网站的市场格局仍太没有太大变化.一部分网站在挣扎中死去,一部分新的网站又继续冒出来.不变的市场格局下是用户越来越高的用户体验,和服务要求,以

国内SNS网站正进入瓶颈期、面临增长困境

摘要: "就像北京国际马拉松赛,重要的不是第1000名和第1001名选手退出比赛了,关键是前十名.前两名现在跑得如何."一位国内知名SNS网站的创始人这样谈及他对现时行业状况的观感. "就像北京国际马拉松赛,重要的不是第1000名和第1001名选手退出比赛了,关键是前十名.前两名现在跑得如何."一位国内知名SNS网站的创始人这样谈及他对现时行业状况的观感. 继赛我网.海内网等一批早期社交网站销声匿迹之后,7月,又有360圈和蚂蚁网两家SNS网站接连宣布停运关站.一时

光宇副总裁宋洋:网游产业并非迈入瓶颈期

光宇华夏副总裁宋洋(速途网配图) 6月28日消息 6月28日下午,80后网游新锐代表--光宇华夏科技有限责任公司副总裁宋洋,做客人民网游戏观察室,与 网友分享80后游戏高管的拼搏与梦想. 访谈中,对于自己身为80后就已在公司担任高层,宋洋表示:"如果我是在一个传统行业,可能大家会比较惊讶,但是在这样一个行业里,正是和我同龄的人发挥的行业.大家应该一点一点地见到更多这样的例子,尤其是在像网络游戏这个行业里面."宋洋称,他的同事们基本上都是 80年后出生的,甚至还有85年后出生的人,80后

企业营销怎样度过网络营销瓶颈期

随着互联网的火速发展,越来越多的企业加入网络,网络营销的新颖打破了传统营销,网络营销之所以能吸引企业参与,在于网络可扩大用户群体,给企业带来更多的用户资源,最终提高企业的销售订单.但企业发展到一定阶段就会遇到瓶颈期,企业又将怎样才能走出网络营销瓶颈期? 企业为何有瓶颈期 电子商务的发展引领着企业朝着网络进军,但企业经验者多半是不懂seo优化,有的甚至是跟风建立站点,往那一扔就在也没管理过,没有流量.没有IP.没有任何口碑营销.没有任何销售订单,这时企业并会进入发展瓶颈并急需突破的阶段,营销观点的