图说2016深度学习十大指数级增长

1. 图像识别准确率的指数级增长

似乎一切都是从 2015年的 ImageNet 挑战赛开始的,当年在图像识别准确率上,机器首次超过了人类,被认为是一个里程碑式的突破。


图:ILSVRC top-5 错误率

2010年算法的图像识别错误率至少在25%左右,但到2015年,计算机图像识别错误率已经低于人类(人类水平大概是4%左右)。2015年是0.03567,也就是3.5%。2016年,ImageNet 竞赛,图像识别错误率进一步下降,错误率今年的最好成绩为:平均错误率0.02991,也就是2.99%左右。

从上图可以看到,在ImageNet 竞赛中,其实从2012年,开始,使用深度学习方法,错误率只有15.3 %左右。这是 Hinton 教授和他的两个研究生 Alex Krizhevsky, Illya Sutskever 的成果。据说,他们使用了 两个 Nvidia 的 GTX 580 CPU (内存 3GB, 计算速度 1.6 TFLOPS), 让程序接受一百二十万个图像训练, 花了接近六天时间。

搜索热度的指数级增长

“深度学习”在2012年开始崭露头角。下图是 Google Trends 中“Deep Learning”的搜索趋势。

深度学习在近两年来已经成为名副其实的热词。

学术会议上深度学习影响力的指数级增长

现实表明,学术研究领域确实迎来爆发式增长


图:NIPS 增长趋势

2016 年,作为学界顶级盛会的 NIPS 共收到投稿超过 2500 篇,最终接收了 568 篇——保守估计接收率 22.7%。这个论文接收率并不算那么低(相较其他顶会)。

再看参会人数及其近年来的增长趋势(上图右),2016参会人数已经超过了5000人——尤其是近两年,用“直线上升”形容毫不夸张。

CVPR 是计算机视觉领域的国际顶级会议。下面是 CVPR 的增长趋势图:


图:CVPR 参会人数趋势

新智元在此前的报道曾统计过,本届会议共收到论文 2145 篇,创下历史记录(有效 1865 篇)。会议接收论文 643 篇(接收率 29.9%)。

2016 CVPR 会议接收的论文里,发表的论文中有 80% 到 90%,口头报告更是接近 100% 都来自深度学习领域。

深度学习技术在企业内部应用的指数级增长

以上能显示深度学习理论的增长趋势。但只有理论吗?让我们看看 Google 内部对深度学习技术的使用情况。


图:Google 使用深度学习的趋势

从上图可以看到,2014年到2015年间,谷歌内部对深度学习技术的使用呈直线上升趋势。应用领域包括:APP、地图、照片、邮箱、语音、安卓、Youtube、翻译、机器人研究、图像理解、自然语言理解、毒品探测。

谷歌大脑负责人Jeff Dean 在接受《福布斯》的采访时曾提到,2011年到2012年间,公司使用深度神经网络技术的团队只有十几组,现在已经超过200多组,有上千人在训练这类的模型,使用的就是谷歌大脑团队搭建的软件。

他说:“5年前,当我们第一次开始组建机器学习研究组,调查使用大量的计算和深度卷积网络处理问题的情况,当时公司里还没有多少人在使用这种方法。后来,我们发现少数看起来可以有效应用的几个地方,其中包括语音识别系统,所以我们跟语音识别团队的同事紧密合作,把深度神经网络加入到语音识别系统中去,从而在识别精准度上获得了显著的提升。然后,我们又与几个计算机视觉相关的团队合作,比如图像识别和一些街景团队,其中包括,用图像中的原始像素去训练模型做一些有意思的事情,从图像中提取文本或者理解图像(是美洲豹,垃圾车或是别的什么东西)。

有趣的是,随着时间的过去,更多的团队开始采用这些方法,因为他们会听到别的团队说在尝试一些别的东西,并且获得了好的结果。不然就是,我们可以把他们与这些团队联系起来,或者我们可以提供一些在他们特定的问题语境下如何使用这些方法的建议。后来,我们把这些都正规化,所以现在我们就有了一个团队来做这些扩展工作。首先是联系想要在产品中用到这些机器学习模型的团队,他们会描述自己遇到的难题,一般情况下,我们团队会说:“这似乎跟其他团队所遇到的难题很像,我们的解决方案很有用,试试看我们的方案,然后给我们反馈”。

深度学习人才需求的指数级增长

从2015年开始,市场对深度学习人才的需求直线上涨,2016年下半年开始更是以超大幅度上涨。另外,2015年开始,我们也看到了大量的学术界顶尖人才流向产业界。

深度学习投资上的指数级增长

图:最近几年对AI技术企业的投资逐年增长


2016年二季度期间,融资交易量最多的地区是美国,共发生47起交易,融资额合计5.245亿美金。

 

除美国以外,全球有15个国家和地区在2016年二季度发生了AI相关领域创业公司的股权投融资活动,包括中国(及香港)、印度、瑞典、乌克兰、法国和加拿大等。

其中加拿大、英国、以色列、德国的AI领域投资相对较为活跃,尤其值得注意的几笔交易是:在加拿大,GE Ventures两次参与了BitStew Systems的C轮融资,该创业公司主要做工业物联网(IIoT)的数据分析平台;在英国伦敦,Lerer Hippeau Ventures,Bloomberg Beta和Salesforce Ventures参与了DigitalGenius的种子轮融资,该创业公司主要为客服领域提供AI解决方案;在以色列,阿里巴巴集团投资了电商搜索发现创业公司Twiggle的A轮融资,而包括Khosla Ventures和Marc Benioff在内的投资机构则支持了医疗创业公司Zebra Medical Vision的B轮融资;在德国,New Enterprise Associates参与了Konux的A轮融资,该创业公司面向产业界提供基于AI技术的传感器解决方案。


大公司收购的指数级增长

人工智能企业并购历史

2016年,每一个季度,都有至少10起关于人工智能的并购发生。这一指数级的增长趋势从2014年开始,目前没有任何下降的趋势。

2016年内在AI领域发生了一些非常高调的收购案,包括6月份公开的推特(Twitter)花费1.5亿美金收购Magic Pony Technology,后者是一家专注视觉处理(visual processing)相关的机器学习(machine learning)算法技术公司。英特尔于今年8月以超过4以美元的金额收购 Nervana 等等。

其中,2016也成为英特尔向人工智能和深度学习发力的转型之年,英特尔副总裁 Jason Waxman 在接受 Recode 采访时表示,向人工智能转型可能会有损英特尔向云计算进军的努力。但 Waxman 也强调了机器学习的重要性,他表示在英特尔从一个用户控制大量连网设备到世界向一个数十亿件设备都相互连并相互对话的世界转型之际,机器学习非常重要。

大众在投资的指数级增长

人工智能特别是深度学习的发展,极大地推动了英伟达的股价的上涨。从2015年开始,英伟达的股价一直都高于纳斯达克平均水平。

最新资料显示, 英伟达了2016年第三财季财报报告当季公司营收实现大幅增长,远超市场预期。财报公布后,英伟达股价大涨近30%至87.97美元,创历史新高。英伟达股价自2015年9月以来持续走高,涨幅已超过三倍多。

今年8月,CEO黄仁勋在投资人会议上强调,深度学习是英伟达十分重要的增长动力,也是公司一直持续大力投资的领域,“过去5年来,我们一直默默投资深度学习,因为我们相信深度学习未来对整个软件产业、整个计算机产业都有着深远的影响,我们把一切都赌在了深度学习上”。

黄仁勋还指出,英伟达数据中心业务,大约有一半都是深度学习系统,这也是得益于公司在深度学习芯片方面的大力投入。

深度学习是 AI 的主要驱动力吗?

上图是在“Google Trend” 中分别查询人工智能和深度学习在过去5年的搜索趋势,蓝色是“深度学习”,红色是“人工智能”。“深度学习”在总量上要少于“人工智能”,但是增长趋势非常明显,最近更是越来越接近。并且,从增长的趋势来看,深度学习增长非常明显。

最后是最重要的一个趋势

人工智能的“智力”水平不断增长,未来或许会超越人类,甚至是高智商的人类水平,但是,目前看来,人工智能的智力水平程度也还只比蚂蚁好一些。(图来自Wait Buy Why)。

文章转自新智元公众号,原文链接

时间: 2024-11-01 00:15:27

图说2016深度学习十大指数级增长的相关文章

2016深度学习统治人工智能?深度学习十大框架

2015 年结束了,是时候看看 2016 年的技术趋势,尤其是关于深度学习方面.新智元在 2015 年底发过一篇文章<深度学习会让机器学习工程师失业吗?>,引起很大的反响.的确,过去一年的时间里,深度学习正在改变越来越多的人工智能领域.Google DeepMind 工程师 Jack Rae 预测说,过去被视为对于中型到大型数据集来说最佳的预测算法的那些模型(比如说提升决策树(Boosted Decision Trees)和随机森林)将会变得无人问津. 深度学习,或者更宽泛地说--使用联结主义

2017年深度学习十大趋势预测

本文作者曾经多次预测了技术发展的趋势,最近的一次预测是"2011年软件发展的趋势与预测".10项预言中,准确地命中了6项,比如JavaScript VM.NoSQL.大数据分析.私有云.Scala语言等等.今年,他对深度学习的发展趋势做了一个预测,主要是研究领域的趋势预测,而不是工业界的应用. 以下是作者对2017年度的预测内容. 硬件将加速倍增摩尔定律 作者根据其观察到Nvidia和Intel的发展动态,认为这是显而易见的趋势.由于Nvidia具有完整的深度学习生态系统,它们在整个2

对比深度学习十大框架:TensorFlow最流行但并不是最好

2016 年已经过去,BEEVA Labs 数据分析师 Ricardo Guerrero Gomez-Ol 近日在 Medium 上发表了一篇文章,盘点了目前最流行的深度学习框架.为什么要做这一个盘点呢?他写道:「我常听到人们谈论深度学习--我该从哪里开始呢?TensorFlow 是现在最流行的吧?我听说 Caffe 很常用,但会不会太难了?在 BEEVA Labs,我们常常需要应对许多不同的深度学习库,所以我希望能够将我们的发现和感想分享出来,帮助那些刚刚进入深度学习这一美丽世界的人.」 Te

对比深度学习十大框架:TensorFlow 并非最好?

对于那些听说过深度学习但还没有太过专门深入的人来说,TensorFlow 是他们最喜欢的深度学习框架,但在这里我要澄清一些事实. 在 TensorFlow 的官网上,它被定义为「一个用于机器智能的开源软件库」,但我觉得应该这么定义:TensorFlow 是一个使用数据流图(data flow graphs)进行数值计算的开源软件库.在这里,他们没有将 TensorFlow 包含在「深度学习框架」范围内,而是和 Theano 一起被包含在「图编译器(graph compilers)」类别中. 在结

【深度学习框架大PK】褚晓文教授:五大深度学习框架三类神经网络全面测评(23PPT)

香港浸会大学褚晓文教授团队在2016年推出深度学习工具评测的研究报告,并在2017年年初发布更新,引起广泛关注.见新智元报道< 基准评测 TensorFlow.Caffe.CNTK.MXNet.Torch 在三类流行深度神经网络上的表现(论文)>,2017年初版本的评测的主要发现可概括如下: 总体上,多核CPU的性能并无很好的可扩展性.在很多实验结果中,使用16核CPU的性能仅比使用4核或8核稍好.TensorFlow在CPU环境有相对较好的可扩展性. 仅用一块GPU卡的话,FCN上Caffe

2016年的十大勒索木马

本文讲的是2016年的十大勒索木马 一. HadesLocker 近日哈勃分析系统捕获到一类由C#语言编写的新的敲诈勒索木马.之前出现 的C#语言编写的木马只是简单地调用了一些C#库来辅助开发.与之相比这次的变种增加了多层嵌套解密.动态反射调用 等复杂手段外加多种混淆技术提升了分析难度. HadesLocker是10月份新爆发的一个敲诈勒索类木马会加密用户 特定后缀名的文件包括本地驱动器和网络驱动器 加密后文件后缀为.~HL外加5个 随机字符然后生成txthtml.png三种形式的文件来通知用户

技术大神脑内的三重世界:打通不同维度的世界,用数据驱动指数级增长

大家好,我是黄洋成,感谢大家的陪伴. 大家觉得这两年最热门的词是什么?我想没有异议,就是AI.今天上午Kian先生的演讲也提到了,作为引领新一轮AI浪潮的标志性事件的主角,AlphaGo是指数级增长的一个典型案例.我们和国内顶尖的职业围棋培训机构葛道场有很多合作,从他们的经验来看,如果要想成为一个职业围棋选手,都不算顶级选手,最晚也要从六岁到七岁开始学棋.即使是像柯洁这样不世出的奇才,从五.六岁学起,到成为世界冠军也需要十多年的时间.而AlphaGo,前年最初连樊晖这样不太知名的围棋职业选手都无

智能时代,深度学习和大数据成了密不可分的一对儿

人工智能时代,深度学习和大数据成了密不可分的一对儿.深度学习可以从大数据中挖掘出以往难以想象的有价值的数据.知识或规律.简单来说,有足够的数据作为深度学习的输入,计算机就可以学会以往只有人类才能理解的概念或知识,然后再将这些概念或知识应用到之前从来没有看见过的新数据上. <智能时代>的作者吴军博士说:"在方法论的层面,大数据是一种全新的思维方式.按照大数据的思维方式,我们做事情的方式与方法需要从根本上改变." 谷歌的围棋程序AlphaGo已经达到了人类围棋选手无法达到的境界

Mellanox智能网络助力美团点评深度学习和大数据平台

9月13日(北京)高性能计算.数据中心端到端互连方案提供商Mellanox今日宣布,国内最大的生活服务电商平台美团点评现已在其人工智能和大数据平台部署 Mellanox 端到端25GbE以太网络. 近来随着移动互联网的飞速发展,通过线上完成消费决策及交易,线下实际消费的O2O模式也吸引了越来越多的用户.作为国内最大的生活服务电商平台,美团点评已经为6亿注册用户.超450万合作商户提供各类生活娱乐相关的服务.美团点评通过对海量数据的挖掘及分析提供个性化的服务,更快满足用户需求;并借助美团云深度学习