2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。
本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。
在本次大会召开之前,CSDN和本次大会的“大数据应用”分论坛演讲嘉宾Dropbox研发经理邵铮进行了一次简单的沟通。作为世界领先的云存储和共享平台,Dropbox对系统的稳定有着非常高的要求。一个好的监控系统可以提升工程师的工作和生活质量。邵铮表示,现有的监控系统在大规模监控中有两个问题:可扩展性和可用性。Dropbox通过比较常见的大数据监控系统架构,提出一种混合架构来达到最大的可扩展性。邵铮将在12月14日“2014中国大数据技术大会”上详细分享Dropbox的整合实践以及下一步的计划。了解详情,点击报名!
邵铮
Dropbox研发经理
邵铮是美国云存储公司Dropbox的研发经理,也是大数据开源平台Hadoop的项目管理委员会成员。邵铮于2014年3月加入Dropbox,负责分布式数据库存储和系统监控。之前,邵铮是Facebook早期的华人工程师和工程经理,在Facebook任职6年,参与和负责Hive,Scribe,Puma,MySQL,RocksDB等项目的开发和大规模应用。邵铮在Stanford大学获得管理工程和科学专业的硕士学位,在UIUC获得计算机科学的硕士学位,在清华大学获得计算机科学的学士学位。邵铮曾在多项国际编程赛事中获得奖项,包括Topcoder semifinalist, Google Code Jam finalist, ACM/ICPC Finals2001 11th Place, IOI 1999 Gold medal。
邵铮采访实录如下:
CSDN:您所在的公司,都曾使用过哪些大数据技术?您对这些技术满意的地方和不满意的地方分别有什么?
邵铮:Dropbox使用下列大数据相关的开源项目:Hadoop(HDFS and Map-Reduce), Hive, Scribe, HBase, Kafka, Presto, Zipkin。我们对大部分的技术都比较满意,主要不满意的地方都是在稳定性,就是出现问题的时候如何快速解决。
CSDN:根据您的了解,目前类似的企业中,在数据方面,遇到的最大困难是什么?
邵铮:挑战存在于以下三个方面:
从软件的角度讲,大部分的开源软件还都不够成熟,而又过分强调性能而不是稳定性。这一方面催生了更多的专有系统,另一方面也让开源软件的咨询市场变大了很多。 从硬件的角度讲,云平台的使用越来越多,而传统的在自己数据中心中的部署越来越少。由于部署运维等各方面的困难,大数据的平台会越来越快地转到云上。 从使用者的角度来谈,最大的困难是易用性和透明性。很多大数据的技术都太底层,没有能直接解决一个问题的方案。开发者在大数据平台上的继续开发非常重要。
CSDN:在大数据领域,目前还有哪些技术是您正在观察和研究的,为什么您看好这些技术?
邵铮:我们目前非常关注下列技术:
Spark,SparkSQL,适用于提高数据仓库的运行效率的响应速度; ElasticSearch,适用于半结构数据的采集,索引和查询; OpenTSDB和InfluxDB,适用于运维数据的采集和存储; Grafana,适用于运维数据的可视化。
CSDN:请谈谈您在这次大会上即将分享的话题。
邵铮:这次将要和大家分享的话题是大数据在Dropbox运维领域的应用。首先我们介绍为什么利用大数据来做运维很重要,以及目前业界的现状,然后我们会比较常见的几种利用大数据来做运维的架构,并提出Dropbox运维系统的架构,最后会介绍我们公司在这方面的下一步的计划。
CSDN:哪些听众最应该了解这些话题?您所分享的主题可以帮助听众解决哪些问题?
邵铮:关注大数据应用的工程师,关注系统运维的工程师。
全国大数据创新项目评选活动目前正在如火如荼进行中,详情点击这里。
2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将于2014年12月12日-14日在北京新云南皇冠假日酒店召开。传承自2008年,历经七届沉淀,“中国大数据技术大会”是目前国内最具影响、规模最大的大数据领域技术盛会。本届会议,你不仅可以了解到Apache Hadoop提交者Uma Maheswara Rao G(兼项目管理委员会成员)、Yi Liu,以及Apache Hadoop和Tez项目管理委员会成员Bikas Saha等分享的通用大数据开源项目的最新成果和发展趋势,还将斩获来自腾讯、阿里、Cloudera、LinkedIn、网易等机构的数十场干货分享。 当下门票团购还有些许优惠, 预购从速。
免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!
CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。