【BDTC2014观察】大数据会与深度学习划等号么?

2014中国大数据技术大会在12月14日正式落下帷幕,近百位技术专家在这里分享了他们的最新研究与实践成果,本文来自中国经济网经营顾问杨静,主要解读了大数据与深度学习之间的联系,以及未来行业技术的发展。

以下是作者原文:

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

近年来,国内外互联网公司和传统企业大都已经意识到数据资产化和规模化带来的潜在价值,如何低成本且高效率地存储和处理数百TB乃至EB量级的数据成为极大挑战。“向数据要价值”使得几乎每个行业都面临着大数据问题。“大数据”引发了新一轮IT“工业革命”。

程学旗发布2015年大数据发展趋势预测

中科院计算所研究员,CCF大数据专家委员会秘书长程学旗在会上发表了大数据白皮书与发展趋势报告。《中国大数据技术与产业发展白皮书(2014年)》主要介绍了大数据的背景与动态,大数据典型应用,大数据技术进展,大数据IT产业链与生态环境,以及大数据发展趋势与建议等内容。同时对于2015年大数据发展趋势预测,程学旗总结为这几个词:融合、跨界、基础、突破。

一、结合智能计算的大数据分析成为热点,包括大数据与神经计算、深度学习、语义计算以及人工智能其他相关技术结合,成为大数据分析领域的热点。

二、数据科学带动多学科融合,随着社会的数字化程度逐步加深,越来越来多的学科在数据层面趋于一致。可以采用相似的思想来进行的统一的研究。

三、跨学科领域交叉的数据融合分析与应用将成为今后大数据分析应用发展的重大趋势。

四、大数据将与物联网、移动互联、云计算、社会计算、等热点技术领域相互交叉融合,产生很多综合性应用。物联网与移动计算加强了与物理世界和人的融合,大数据和云计算加强了后端的数据存储管理和计算能力。

五、大数据多样化处理模式与软硬件基础设施逐步夯实。内存计算将继续成为提高大数据处理性能的主要手段。以Spark为代表的内存计算逐步走向商用,并与Hadoop融合共存,专为大数据处理优化的系统和硬件出现,大数据处理多样化模式并存融合,一体化融合的大数据处理平台逐渐成为趋势。其中有一个观点这种多元化一定程度上成为一体化,未来大数据多样化处理模式并存并且有可能成为一体化的平台。

六、大数据安全和隐私持续令人担忧。

七、新的计算模式将取得突破,众包技术,可能未来不光是大数据讲深度学习。

八、各种可视化技术和工具提升大数据分析。进行分析之前,需要对数据进行探索式地考察。在此过程中,可视化将发挥很大的作用。

九、大数据技术课程体系建设和人才培养是需要高度关注的问题。

十、开源系统将成为大数据领域的主流技术和系统选择。

邢波分享大数据分布式机器学习平台

2014中国大数据技术大会首日的全体会议上,卡耐基梅隆大学教授邢波、ICML 2014程序主席邢波(Eric P. Xing)表示,着眼当下大数据处理平台,大量资源都都浪费在集群的通讯上。即使比较优秀的平台,计算时间也只有20%,通讯时间占到80%,就比如Hadoop的通讯时间占到90%。

而他的研究小组研发出的Petuum则是一种新型的大数据分布式机器学习平台,包含数据和程序并行两套功能,也对机器学习的特点做了比较好的研究和针对性的使用。大致结构是包含一个参数服务器,提供编程的一个虚拟并行内存,在编程的时候不用对每个机器进行单独通讯,还有一个叫做调度器,能够对模型进行有效的分割,甚至是动态分割,然后做分布化。

这个参数服务器有一个编程界面,在写内存读取不需要对每一个机器做特殊的指令,使用了比较巧妙的所谓半同步的协调机制,这样可以显著降低使用在通讯上的时间,而加强在计算上的时间,所以随着半同步参数的调整,通讯时间会显著下降,降到了甚至比计算时间还要少,这样使计算机的资源得到最大量的利用。

Petuum也是开源项目,目前的观察不光可以达到很大量,基本上等价于现在最好的系统。根据邢波教授刚刚收到学生最新送来的结果,很让人惊讶,还有一个组用这个系统跟Spark和Hadoop做了独立比较。Petuum系统的愿景既包含软件和底层软件的支持,目前也是在Hadoop生态系统里的一个分子,这个系统可以开放给大家下载以后做自己的开发。

余凯:深度学习将扮演人工智能时代关键角色

百度研究院副院长,深度学习实验室主任,图片搜索部高级总监余凯介绍了百度在人工智能方面的发展。对于互联网公司来说最重要的技术是基于大数据的人工智能。什么是人工智能?感知、思考和控制是人工智能的几个重要方面。真正智能的系统,是随着经验的演化,越变越聪明!而经验就是数据。

余凯在演讲中认为:人工智能的本质特征之一是学习的能力,也就是说系统的能力能否随着经验数据的积累而不断演化和提升。所以大数据时代的到来给人工智能的发展提供前所未有的机遇。在这个时代背景下,深度学习在各个方面所取得的突破性进展并非偶然,因为从统计和计算的角度来说,深度学习可能是目前我们能找到的最好的方法,用于在海量数据中寻找复杂的规律。

除此以外,他认为深度学习还有两个显著优点:首先,它是一套丰富的建模语言,或者说是建模框架,我们可以用这套语言系统来表达数据内在的丰富关系和结构,比如图像中的2D空间结构,自然语言的时序结构;其次,深度学习是几乎唯一的end-to-end的机器学习系统,它的目标是直接作用于原始数据,自动逐层做数据特征变换,整个学习过程直接优化某个问题相关的目标函数,而传统的机器学习往往被分解为几个不连贯的步骤,并非一致优化某个整体的目标。所以,万物互联的时代,数据暴增,也意味着人工智能时代的来临,深度学习将扮演关键性角色。从现在到2020年,我们将看到人工智能在语音识别,计算机视觉,自然语言理解,机器人,自动驾驶等领域的持续突破性进展。

智能化时代:大数据会与深度学习划等号么?

本次会议的组织者安排了媒体对几位专家的群访。我向李国杰院士等专家提出了一个问题:“刚刚程学旗秘书长说大数据专委会的专家们投票选择明年的大数据技术趋势是说大数据跟神经计算和人工智能相结合,有一些委员说明年首先是对国内大型互联网公司在推动大数据发展方面有更多期待,这是否意味着2015年大数据跟人工智能划等号,或者是跟深度学习划等号了呢?”

【李国杰】那么多专家把大数据和人工智能划等号,但不仅是大数据,整个智能化技术,是中国未来一段时间很重要的方向。过去几十年是数字化,接下来是自动化,然后是网络化,智能化也做过,但是相对来说不是那么看重,但是越到后来,现在发现智能化的要求越来越高,希望它对产业方面贡献越来越大。所以智能化一定是很重要的一个主题词。但是智能化没有止境,打个比方,好象人的影子似的,太阳在那边照着,老想踩着影子,永远是个边界。原来认为是智能的东西现在认为不智能了。

现在智能化跟我们大家关心的经济新常态都扯了一点边。因为中国经济以前是靠要素驱动,现在GDP增长变慢了,下一步要提高GDP,靠人脑的创新。以前这么多年搞来搞去,是靠“筋肉”延伸,靠汗水。而未来人工智能靠创新,靠脑筋。

这是一个新时代的开始,所以所谓新常态不是往下降了,我觉得是往上升了,提升成大家更往智力上想办法。环境污染,资源耗尽的矛盾会降低一些。因为消耗脑子和消耗资源是两种问题,但是消耗脑子可能会引起世界上两极社会非常严重,收入等可能差几倍,聪明的人与不聪明的人将来在社会上的差距,更有所体现。怎么让全社会更加公平,更加普惠大众,这是一个新的课题。

【邢波】您刚才那个问题是说大数据跟人工智能和深度学习怎么划等号?是这么一个关系,大数据是一个研究对象,人工智能是一个目标,我们要达到人工智能的目标,要理解数据,方法论是机器学习或者是智能计算。深度学习是机器学习里面十个手指头里面的一个指头。比如刚刚这位老师讲到的网络安全,要对加密数据做一个分类,就无法用深度学习去解决。所以三者的关系不是等号的关系,甚至没有互相包容的关系,还是不同层面的说法。像深度学习在人工智能、机器学习里面什么地方可以用,什么地方不可以用,在学业界和工业界大家都是非常清楚的。不太成熟的我们就慢慢去研究,但是这并不代表深度学习就是包罗万象。

最近有一些社会人士,比如像霍金,像特斯拉CEO,他们说人工智能将导致革命,或者是人工智能将比人类更加强大,这应该是科普和娱乐性的话题,不应该当真。人工智能不是取代人类的课题,它要做的事情应该是人不能做的。比如人工智能,没有哪个科学家有极大的兴趣做仿生机器人。所以仿生和人工智能是两件事,工程层面和技术成功仿生的例子并不是很多,大家是通过仿生做一些科普宣传,比如说飞机。飞机原理和鸟的飞翔原理完全不一样,机器学习跟大脑运行原理完全不一样,他们讲的只是普及工作。对人工智能我们不能把它与深度学习划等号,就像说研究人脑就能达到人工智能。

【程学旗】我比较赞同邢波教授的观点,即肯定不能把大数据和人工智能划等号,大数据本身未来也可以作为学科,但是它目前还是一个现象。但是另外一方面看,大家讨论的结论里面,我们叫智能计算,也就是说大数据计算里面怎么体现它的智能,或者解决智能方面的问题,这可能是我们未来一段时间内学术界和工业界关心的问题,包括机器智能,人工智能,各种智能。

人工智能到底解决什么问题?解决人的思考?还是解决人的预测,还是解决现象?人工智能它的机理是什么,简单来讲至少大数据可以在人工智能做预测决策的范畴起到促进作用。

时间: 2024-11-05 21:45:43

【BDTC2014观察】大数据会与深度学习划等号么?的相关文章

大数据下的“商业学习实验”

一直以来电商圈都有一个问题,为何台湾的电商就怎么都发展不起来?这实在是可以"归罪于"他们太过于发达的超商门店,seven eleven 和全家便利店等开到到处都是,转角都能遇到爱.这也许是一方面,另一方面,是这些强大超商体系不断更新的技术商业知识体系,常有各种创意和最前沿的技术学习法.今天钛媒体电商研究院的电商课堂,就邀请<商业价值>编委刘梅来讲讲便利超市门店的"商业学习实验": 零售企业可能每天都会产生令人兴奋但有些风险的创意,这些点子要不要做?效果又

甲骨文John:让大数据与HCM深度结合

甲骨文云技术应用大会(Oracle CloudWorld)在中国开幕.大会全面探讨在移动互联时代,企业在部署云计算方面的机遇与挑战,以及如何利用云技术驱动企业的现代化业务变革. 甲骨文携手云计算合作伙伴在中国建立了良好的合作伙伴生态圈,为中国企业提供了最全面的云端解决方案,并根据不同行业用户的需求,不断推出创新的个性化解决方案和优质的服务体验. Oracle HCM已经做到中国本土化 作为业界领先的IT技术与解决方案供应商,甲骨文为全球各行各业的企业客户提供 Oracle人力资本管理软件(Ora

修文紧扣大数据产业发展 党员教育学习实现信息化

如今,在修文农村,每一名党员只需要通过智能手机微信平台,就可以学习党建知识.政策法规,形式更加灵活,内容更加丰富. 近年来,修文县紧扣贵阳市大数据产业发展步伐,不断提升信息化手段的应用,利用中央.省.市的党建微信宣传.学习平台,加大农村党员的学习力度,让党员的学习更加自主化.个性化.同时开设"修文党建"微信公众号,上传党委.政府的各项惠农政策,产业发展的导向,先进人物典型,党员创业带富能手经验等,推动党员教育走上信息化道路,受到广大党员欢迎. =====================

加快促进大数据与实体经济深度融合发展

在科学技术飞速发展的21世纪,随着数据的可获得性和流动性日益增强,大数据不仅成为与资本.土地.技术.人力资源等共同推动经济发展的要素,而且也成为提升全要素生产率和决定未来现代化水平的关键要素,也正在催生出以互联网和实体经济深度融合发展为内涵的新经济形态.当前,贵州正在全力建设国家大数据综合试验区,除了大力发展数据采集.存储.挖掘.分析.开发.应用.交易.服务外包和大数据安全等核心业态以及构建完整的大数据产业体系外,最重要的是还应充分发挥新一代信息技术的先导作用,大力推进大数据应用服务向经济社会各

大数据“难题”凸显 深度调研势在必行

对于大数据,在被业界热炒了几年后,已经从空中逐渐落地,用户的视角也从理解概念转变到如何从业务.应用角度出发,让大数据真正实现价值. 其实,大数据并不是一个新鲜的概念,它在物理学.生物学.环境生态学.自动控制等科学领域和军事.通信.金融等行业的存在已有些时日.从本质上来说,大数据主要解决的是海量数据存储.计算.挖掘.展现的问题,基于此之上可以诞生一系列应用或商业模式. 在目前阶段,大数据解决的问题主要分为3类: 拓展传统的商业智能(BI)领域.以前针对大数据量的统计.关联分析.趋势预测由抽样变成全

大数据时代来临“深度云计算”公司海内外同临机遇

"大数据本身是一个问题集,云技术才是解决大数据问题集最重要.最有效的手段."一位资深的大数据专家如此评论. 伴随着近期大数据成为市场关注焦点,曾经火热的云公司也再度受到关注.上周五在美国上市的两家云计算和大数据的交叉概念公司股价出现暴涨,首日涨幅均超过60%,再度显示了美国股市对于这个领域的热衷.而国际权威机构IDC推算,近三年全球"云计算"领域将有8000亿美元的新业务收入,尤其是云计算应用于大数据问题的分析研究的需求增速飞快. 云公司的"深度业务&qu

第五届CCF大数据学术会议在广东深圳圆满结束,这里也有大数据的“广”和“深”

2017年10月13日至15日,第五届CCF大数据学术会议(CCF BigData 2017)在深圳市麒麟山庄举行.本届会议由中国计算机学会主办,中国计算机学会大数据专家委员会和深圳大学联合承办.雷锋网也作为协办单位,全程参与会议并进行报道. CCF大数据学术会议的举办目的是探讨大数据相关领域面临的技术挑战,共享各类技术创新思想,展示中国大数据技术的最新研究进展,交流大数据的应用成果和研发经验.会议中以学术内容为主,也邀请了一些产业界人士共同分享真知灼见.在3天会议中,雷锋网(公众号:雷锋网) 

大数据一体化:迈向人工智能的必由之路

本文讲的是大数据一体化:迈向人工智能的必由之路[IT168 云计算]近日,由北京供销大数据集团(SinoBBD)举办的"加快大数据中心一体化进程·2017北京峰会"在京召开.创新工场及人工智能工程院.科蓝软件.Testin云测.中国银行数据中心.清华大学经济管理学院等知名企业和机构的"掌舵人"纷纷到场,共同探讨数字经济时代中国大数据产业及人工智能应用的发展之道. 众位大咖的精彩发言,特别是创新工场创始人李开复围绕"大数据开启人工智能时代"的主题演

大数据一体化:迈向人工智能的“必由之路”

近日,由北京供销大数据集团(SinoBBD)举办的"加快大数据中心一体化进程·2017北京峰会"在京召开.创新工场及人工智能工程院.科蓝软件.Testin云测.中国银行数据中心.清华大学经济管理学院等知名企业和机构的"掌舵人"纷纷到场,共同探讨数字经济时代中国大数据产业及人工智能应用的发展之道. 众位大咖的精彩发言,特别是创新工场创始人李开复围绕"大数据开启人工智能时代"的主题演讲,让人耳目一新地了解到人工智能的发展历程与机遇,揭示出SinoBB