2014 BDTC 参会有感

中国大数据技术大会(Big Data Technology Conference,BDTC)是目前国内最具影响、规模最大的大数据领域的技术盛会。大会的前身是Hadoop中国云计算大会(Hadoop in China,HiC)。从2008年仅60人参加的技术沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,已经成功举办七届的中国大数据技术大会忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

为了迎接大数据时代的到来,更好地交流大数据的实践经验,进一步推进大数据技术创新与应用,展示国内外大数据领域的最新科研成果,2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店隆重举办。

大会官网:http://bdtc2014.hadooper.cn/m/zone/bdtc_2014

由于我家在上海,没想到要去。一来是最近很忙,有很多事情要做;二来还是比较折腾的,想着看视频回放吧;三来比较贵,此去一行要花费近5K大洋。但是后来CSDN送票;还有人帮忙报销路费;住宿也不是问题,毕竟三个姐姐都在北京;因此成行。

首先感谢CSDN,不单单是因为送我票,CSDN也是本次大会的协办单位;在会场看到了很多的CSDN的小伙伴,非常辛苦。

先说几个最大的感受:

1. 会议组织的很好;不单是Speaker准备的很好,部分的内容很有深度;硬件也不错,比如同声传译。

2. 参会人员很多,遇到了很多熟悉的面孔,其中不乏从上海,杭州赶过去的;而且目测有一些我厂小伙伴(通过我厂背包)。

3. 展台很多。可以从各个创业公司的海报看到他们的产品,从产品可以看出行业一些基本的需求点和大家的关注点。

4. 见到了Doug Cutting  大神。虽然想去签名+拍照,但是为了保持自己的矜持就没有挤上去。

5. Spark的确是大家的关注点,很多Speaker不时的会提到Spark,甚至做超机的高光荣教授 教授。 

6. 大家一致认为大数据刚刚落地,甚至有嘉宾激进的认为现在和80年代PC刚起步一样,现在大数据所面临的问题比如计算存储网络资源在不久的将来将不复存在(问题是不断演进的吧,比如是否可能会有计算模型定义的硬件,即computing defined hardware,呵呵)

7. 干货很多,节奏很快,基本上没有QA的环节。

由于周日的技术论坛分了大数据生态系统,大数据技术,大数据应用和大数据基础设施等4个分论坛,而且时间是完全重叠的,因此只能选择自己感兴趣的去听。接下来分享一下印象比较深的几场。先分享第一个:

2015年大数据基础技术的演进趋势:孙元浩  星环科技CTO

四个趋势:

1. 混合架构将逐渐消失

2. 固态盘将替代内存作为缓存

3. 实时大数据技术得到广泛关注

4. 云计算和大数据终于可以融合

对于第一个趋势,我认为在小公司是可以的,毕竟维护多个架构的运维成本,集群成本都很高。如果一个架构可以满足大家需求,那么将计算资源整合到一块为整个公司服务绝对符合公司的利益。但是对于BAT这种超大的公司,可能根本就不会存在一个通用的架构。很多地方的运算都会苛刻,比如延时,比如吞吐。为不同的应用场景搭建不同的架构,BAT不单是由技术人员去实现,运维人员去运维,而且还有应用场景的强需求。可能离线和近线使用统一的架构在理论上是可能的;但是在线部分至少在现在,还没有看到这个趋势。

第二个趋势,还是非常有可能的,毕竟如果为一个计算场景设计一个特殊的文件格式,那么SSD的确可以达到很高的性能。而且成本不高,容量巨大,的确是大家应该认真思考的地方。EMC的MCF,就是使用SSD作为一层缓存,还是取得了很好的性能优势的。机械硬盘最大的问题在于随机读,一个寻道直接耗费10ms这个量级,要知道很多在线系统的总延时也不过数百ms;对于高频交易系统,大家的时间维度都是在us,甚至大家为了解决数据在内存到网卡之间的传输延时而设计了专门的硬件,为了避免TCP多次握手和ack带来的延时而实现了“可靠”的UDP。通过为不同的场景设计特殊的SSD的文件格式,SSD的性能得到最大程度的提升;这个趋势,值得大家关注。

第三个趋势,实时大数据不单在大公司得到重视,小公司也是如此;大公司实际上早已在生产环境完成了相关场景。而对于小公司,可能第三方的架构就非常重要了,毕竟从人力,物力来说很难开发一套可用的实时大数据系统。这就导致了相关技术会继续得到关注,社区也会持续在这方面进行改进。

第四个趋势,云计算和大数据终于可以融合。云计算大数据作为商业的噱头炒作了已经很多年了。但实际上,大数据才刚刚开始,大数据时代的帷幕已经徐徐拉开并且大家都在专注的实现一些可以为公司,为用户创造可见价值的技术。尤其是Docker,和在其上面的Google Kubernetes,作为一个轻量级的container,为资源部署,资源隔离等制定一个标杆。相信spark等平台以后会加入对他们的支持。 虚拟化技术这些年,解决了很多问题,也带来了很多问题;而docker,解决了虚拟化带来的问题,比如性能。

(未完待续)

时间: 2025-01-01 15:11:16

2014 BDTC 参会有感的相关文章

云计算大会有感—MapReduce和UDF

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.参会有感       首先还是非常感谢CSDN能给我票,让我有机会参加这次中国云计算峰会.感觉不写点什么对不起CSDN送我的门票(看到网上卖一千多一张呢).         还是得从国家会议中心说起,两年前lz曾经在那当过IDF的志愿者,当时是纯体力劳动,负责给参会人员发一些杂志什么的,当时苦逼的为了多蹭一个盒饭躲到柜子后面直到开饭.真没想到两年后可以以来宾的身份参加国家会议中心的大会(虽然午餐还是苦逼的

全球云计算浪潮,中国可能再度被抛下

本文首发于2016年12月1日<环球时报>15国际评论版,题为<云计算时代,中国可能会被抛下>.刊登文略有删改,本文后附作者完整版全文. 题记:显然,风暴已起,开始呼啸而上,以为云计算才刚刚开始的中国企业,未来很可能要望洋兴叹了!置身中国之外,才真切感知我们的差距和问题.这几年,商业浮躁,政策强推,概念火爆炒作,形成温水煮青蛙的表面繁荣和自我迷醉.再辅以阴谋论,不安全论,不断推进封闭思维,最终成为自我束缚.郑永年一句话很有道理,开放是双向的.如今中国一带一路遭遇的阻力,华为等企业在

【温馨提醒】看!BDTC 2014 十大参会要点

12月12-14日,2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店如约召开. 本次大会您将聆听到深度的产业现状与趋势解读,顶尖的行业应用分享,以及 国际前沿的学术研究成果,一网打尽各个领域国内外众多机构的大数据实战.(建议一定要带相机!) 如果您抢到了本次大会的门票,下面的提示要点也许能帮助您获得更好的现场体验: 1.活动地点是北京新云南皇冠假日酒店,在北京市朝阳区东北三环西坝河,太阳宫桥东北角.

参与2014中国大数据行业大调查 BDTC门票等你拿

2014中国大数据行业大调查将全方位洞察当下大数据生态圈,了解大数据平台开发者的需求,分析大数据行业发展趋势及产品方向,为大数据技术从业者和创业者们提供参考. 希望能够得到您的支持与合作,我们将从参与者中抽取幸运用户赠送丰厚大奖. 调查时间:2014年11月07日 - 2014年12月07日 奖品介绍: 一等奖: 2014中国大数据技术大会(BDTC2014)暨第二届CCF大数据学术会议门票,共10张(价值 2700元/张). 二等奖:CSDN书包,共20个. 三等奖:CSDN精美笔记本,共30

2014中国互联网大会8月26日召开 马云雷军将参会

2014年中国互联网大会将于8月26日-28日在北京国际会议中心举行.中国互联网行业超过200位高端嘉宾将围绕Create Infinite Chances创造无限机会--打造新时代经济引擎这一主题进行思想碰撞.具体话题涉及移动互联网.互联网金融.电子商务.大数据与云计算.可穿戴设备.智能交通.智能电视等多个领域.截止到目前,已有包括马云.张朝阳.雷军.周鸿祎.华谊王中军. 阿里小微金融彭蕾.百度李明远.猎豹移动傅盛.Evernote CEO Phil Libin .微软大中华区CEO 贺乐赋(

2014 中国大数据技术大会将于12月中旬隆重召开

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的" 2014中国大数据技术大会"(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店隆重举办. 传承自2008年,历经七届沉淀,"中国大数据技术大会"是目前国内最具影响.规模最大的大数据领域技术盛会,为大数据领域的实践分享.成果展示.行业探讨.技术布道做出重要贡献.

BDTC PPT集萃(一):BAT、华为、网易等分享的大数据架构

从2008年60人规模的"Hadoop in China"技术沙龙,到当下数千人规模的行业技术盛宴,七届BDTC(大数据技术大会)完整地见证了中国大数据技术与应用的变革,忠实地描绘了大数据领域内的技术热点,沉淀了无数极具价值的行业实战经验.同时,2014年12月12至14日,第八届中国大数据技术盛会将一如既往的引领当前领域内的技术热点,分享行业实战经验. 为了更好地洞悉行业发展趋势,了解企业技术挑战,在BDTC 2014召开前夕,我们将带大家一起对历届大会沉淀的知识进行挖掘,分享各IT

HBaseCon2016参会报告

会议概要 2016年5月24日,HBaseCon2016于加州旧金山市内召开,我(绝顶)和大沙作为speaker参加了这次会议并在40分钟的session里介绍了HBase在阿里搜索场景中的应用及改进.本次会议参会的公司阵容包括谷歌.微软.苹果.FaceBook.阿里巴巴等,是有史以来最豪华的,也从一个侧面反应了HBase的发展前景和影响力.会议的主要session列表如下: 重点议题和内容 下面分别从开场.前沿技术细节和结尾展望等几个方面分别介绍本次会议的重要议题,各位同学可以选择感兴趣的部分

本月8日到10日将举办2014年APEC工商领导人峰会

摘要: 本月8日到10日将举办2014年APEC工商领导人峰会,昨日记者获悉,北京市经信委推荐乐视作为APEC亚太高峰论坛主要参展单位,为该次论坛提供显示设备. 据了解,本次APEC工商领导人峰会 本月8日到10日将举办2014年APEC工商领导人峰会,昨日记者获悉,北京市经信委推荐乐视作为APEC亚太高峰论坛主要参展单位,为该次论坛提供显示设备. 据了解,本次APEC工商领导人峰会将为超1500名来自全球的参会代表提供对话.分享.了解以及高层对接的平台.经北京市经信委推荐,乐视不仅将作为APE