大数据应用论坛(上):现场直击百度、腾讯、eBay等大数据应用实践

【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

2014中国大数据技术大会第二日上午的大数据应用论坛上,包括华盛顿大学终身教授,中国联通研究院大数据/云计算首席科学家陈一昕,Co-Creator of Apache Kylin, eBay高级产品经理韩卿,百度研究院大数据实验室数据科学家沈志勇,中国移动苏州研发中心大数据项目总监徐萌,腾讯数据平台部精准推荐中心深度学习方向负责人邹永强在内的一线专家就大数据应用相关研究发表了主题演讲。

1. 陈一昕:电信运营商大数据应用实践

华盛顿大学终身教授,中国联通研究院大数据/云计算首席科学家 陈一昕

华盛顿大学终身教授,中国联通研究院大数据/云计算首席科学家陈一昕发表了题为“电信运营商大数据应用实践 ”的主题演讲,他表示,运营商现在面临激烈竞争,大数据时代想要点石成金,关键是大数据挖掘,那么当下面临的主要挑战是通信行业缺乏专业化数据挖掘技术、支持海量数据的高性能算法、保护用户隐私的数据交互模式以及高素质的大数据团队。

他表示现在电信运营商内部包括自己做的都是一些比较简单对数据统计简单的分析,缺乏的是对大数据的深度挖掘探索和创新,所以在中国联通研究院目前的主要任务就是全面提高中国联通大数据研发能力,可以概括为两个方面:一方面是大数据核心技术的支撑,另外一方面大数据的产品服务,通过一系列的研发对内更好的提供应用支撑,对外提供产品服务。

期间,他还详细介绍了联通目前正在进行的大数据技术和产品方面的研发。包括基于高性能计算的海量数据挖掘工具箱、超大规模用户社交网络分析、模型库组合与优化、用户搜索引擎 、基于联通大数据的金融征信。在他看来,联通想要拥有行业领先的大数据对内及对外开放能力,抢占大数据战略制定高点,极大的依赖于联通自身的大数据分析和挖掘能力。建立一套有效、安全、高质量的,针对通信领域的大数据挖掘分析工具无疑能够帮助联通提升大数据产业的竞争力。最后,他还就运营商大数据、用户搜索引擎、用户征信系统展开叙述。

2. 韩卿:Apache Kylin introduction

Co-Creator of Apache Kylin, eBay高级产品经理 韩卿

Co-Creator of Apache Kylin, eBay高级产品经理韩卿发表题为“Apache Kylin introduction”的主题演讲,他表示Kylin是一套由eBay公司打造的开源分布式分析引擎,其突出特性在于能够为Hadoop支持下的庞大数据集带来标准SQL接口与多维分析(OLAP)能力。

他首先介绍了什么是Kylin以及开发这个项目的初衷,并且分享了Apache Kylin的背景以及想要解决的业务问题,还有所采用的技术。之后,他介绍了产品与技术的一些特性,同时还详细介绍了 Kylin性能的一些数据。

该项目已经在今年10月1号开源,并且在今年11月25日已经成为Apache的孵化项目。关于Kylin的整体架构以及Kylin技术亮点,他都做了详细解读,谈到性能方面,他将Kylin和Hive作了对比。最后他们希望打造的Kylin的生态系统能够和Hadoop等系统合作,将整个系统联系起来。

3. 沈志勇:从数据到智能——百度大数据智能分析应用实践

百度研究院大数据实验室数据科学家 沈志勇

百度研究院大数据实验室数据科学家沈志勇的演讲主题为“从数据到智能——百度大数据智能分析应用实践”,他的演讲从三个方面展开:大数据时代与百度大数据引擎、百度大数据智能分析、百度大数据智能应用案例。

在他看来,大数据时代给行业带来的挑战主要是企业最基础数据存储和计算能力缺乏;数据管理以及数据挖掘这块对数据积累要求比较高也会存在挑战;另外,现在各行各业都的数据很多时候是孤岛,没有打通起来达到更大的价值。

对应上面的挑战,他分享了百度提出来的大数据引擎,它也是分为三个层次,跟刚才说的三个挑战对应的。最底层我们叫做开放云,它承担的是存储能力,开放云基础上有一个数据工厂,数据工厂就是数据仓库,再上层叫做百度大脑。最后,他重点介绍了百度大脑和BDL,关于BDL大数据智能分析案例,他分享了在旅游、体育、运维/运营、金融等方面的应用。

4. 徐萌:中国移动“大云”大数据产品及应用

中国移动苏州研发中心大数据项目总监 徐萌

中国移动苏州研发中心大数据项目总监徐萌发表了题为“中国移动‘大云’大数据产品及应用”的主题演讲,谈到中国移动“大云”大数据产品整体规划,她表示大云大数据产品线为中国移动大数据应用提供三大领域的基础能力:数据采集和处理、数据挖掘及可视化、运营管理。

接着,她重点分享了目前他们做的大数据产品,主要由“大云”大数据平台BC-Hadoop,“大云”大数据仓库系统BC- HugeTable,“大云”分布式关系数据库BC-RDB,“大云”数据挖掘和ETL工具BC-PDM。

关于“大云”大数据应用实践,她强调对内支撑精细化运营,包括支撑客户体验提升、精细营销、产品创新、网络优化、企业管理水平提升;对外寻求新业务增长点,包括支撑行业大数据解决方案、数据变现及社会化洞察等对外服务模式。

5. 邹永强:Mariana:腾讯深度学习平台进展与应用

腾讯数据平台部精准推荐中心深度学习方向负责人 邹永强

腾讯数据平台部精准推荐中心深度学习方向负责人邹永强发表了题为“Mariana:腾讯深度学习平台进展与应用”的主题演讲,他首先介绍了腾讯深度学习的应用需求。在谈到腾讯深度学习平台的挑战时候,在他看来主要包括:

深度神经网络模型复杂,训练数据多,计算量大深度神经网络需要支持大模型深度神经网络训练中超参数多,需要反复多次实验

基于以上的挑战他们构建了腾讯深度学习平台Mariana,它的目标首先是通过并行加速计算;第二通过模型拆分支持大的模型;第三构建通用的框架简化代码的编写加速实验。对Mariana提出三大框架,第一个MarianaDNN,这是深度神经网络GPU运行的框架;第二个是MarianaCNN;第三个MarianaCluster,它们主要应用就是语音识别、图像识别和广告推荐。

更多精彩内容,请关注直播专题2014中国大数据技术大会(BDTC) ,新浪微博@CSDN云计算,订阅CSDN大数据微信号。

时间: 2024-09-19 21:03:17

大数据应用论坛(上):现场直击百度、腾讯、eBay等大数据应用实践的相关文章

百度腾讯等5大网商“围剿”360

每经记者 谢晓萍 发自北京 昨日(10月27日),互联网业内大佬百度.腾讯.金山.傲游.可牛共同发表一份<反对360不正当竞争及加强行业自律的联合声明>,上述企业表示,通过发布联合声明的方式表达愤怒是"忍无可忍"的无奈选择,因此在倡导同行公平竞争.呼呼主管机构介入调查的同时,也承诺并呼吁同行企业"不与360发生任何形式的合作". 针对上述事实,360随后也发布了一份声明,并在此披露腾讯偷偷扫描用户硬盘的最新证据--"超级黑名单".36

大数据技术论坛(上):Spark、Hadoop技术成主角

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Tec就hnologyConference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 2014中国大数据技术大会第二日上午大数据技术论坛上,百度大数据部副总监薛正华和中国移动集团公司业务支撑系统部项目经理何鸿凌共同主持了

【精彩回顾】第五届中国大数据应用论坛隆重举行

2016年7月17日,以"大数据与人工智能"为主题的"第五届中国大数据应用论坛"在北京大学英杰交流中心成功举办.本次论坛由北京大学信息化与信息管理研究中心和中国新一代IT产业推进联盟主办,北达软.数美时代和章鱼大数据协办,CIO时代网承办.来自业界的相关专家学者.CIO.媒体朋友等近200人参与了此次的大数据盛会. 大会合影 北大信息化与信息管理研究中心秘书长.中国新一代IT产业推进联盟秘书长 姚乐 本次活动由北大信息化与信息管理研究中心秘书长.中国新一代IT产业推

大数据基础设施论坛:如何构建符合大数据时代的网络基础设施?

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 2014中国大数据技术大会第二日上午的大数据基础设施论坛上,Mellannox亚太区市场开发总监刘通.武汉绿色网络信息服务有限责任公司

第二届大数据世界论坛 聚焦行业需求

本文讲的是第二届大数据世界论坛 聚焦行业需求,随着现代技术的发展,企业产生的业务数据和客户数据早已汗牛充栋.如何有效的组织管理数据,提供商业解决方案,已经不是单纯的IT技术问题,而是与企业未来发展前途攸关的关键性问题.大数据时代已经到来!大数据正在成为IT业界的焦点话题.为此,2012第二届大数据世界论坛(BIG DATA World Forum BDWF 2012)将于7月13日在北京隆重开幕,本届论坛的主题是"海量数据,深度分析,智慧商业". ▲点击进入IT168现场报道专题 作为

应用大数据保障“舌尖上的安全”

在由中国食品报社.中国食品安全指数研究工程办公室等单位举办的"2016中国食品安全社会共治暨食品安全大数据高峰论坛"上,中国食品报社社长黄国胜说,随着生产工艺不断提升,食品品种及添加剂攀升,越来越多的食品安全问题涉及数据的综合利用.中国国际经济交流中心常务副理事长郑新立表示,有效.适时的大数据应用能够让我们分析出很多有价值的信息,有效保障舌尖上的安全. 在食品监管的大数据应用中,食品安全指数是一个成功案例."中国轻工业联合会在去年12月批准了中国食品安全指数研究工程,致力于建

“第三届中国大数据应用论坛”7月13日即将开幕

以"基于大数据的移动应用"为主题的"第三届中国大数据应用论坛"即将于本周日(2014年7月13日)在北京大学隆重举办.本次论坛由北京大学信息化与信息管理研究中心.北京大学CIO班教务办公室和中国新一代IT产业推进联盟主办,北达软协办,CIO时代网承办.本次论坛将探讨政府.金融.医疗和快消等多个行业的大数据应用,并探讨大数据在各个行业的应用前景和发展趋势.   随着大数据的来临,推动了全球网络技术的发展,促使人们步入了移动互联网的时代,加速了生活水平的提高,给人们的生

大数据搜索论坛:大搜索成关注焦点

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 本次大会历时三天,以更加国际化的视野,帮助与会者了解海内外大数据技术的发展趋势:从技术与实践角度出发,探讨"大数据生态系统"."大数据

李彦宏:百度不会一家独大未来搜索竞争激烈

2009年4月17日,百度董事长兼首席执行官李彦宏作客新华社高端访谈和 新华网博鳌论坛前方直播间新华网 邱小敏 摄 新华网深圳3月28日专电(记者 詹奕嘉)百度董事长.首席执行官李彦宏28日在深圳举办的"2010中国(深圳)IT领袖峰会"上表示,谷歌将搜索服务转移至香港之后,百度不会在搜索领域"一家独大",原因在于搜索产业仍在快速成长,互联网进入门槛又不高,所以未来搜索产业仍会竞争激烈. 李彦宏认为,谷歌转移搜索服务的举动不会带来百度"一家独大"