【BDTC先睹为快】邵铮:用大数据搞定Dropbox系统运维

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的  2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

在本次大会召开之前,CSDN和本次大会的“大数据应用”分论坛演讲嘉宾Dropbox研发经理邵铮进行了一次简单的沟通。作为世界领先的云存储和共享平台,Dropbox对系统的稳定有着非常高的要求。一个好的监控系统可以提升工程师的工作和生活质量。邵铮表示,现有的监控系统在大规模监控中有两个问题:可扩展性和可用性。Dropbox通过比较常见的大数据监控系统架构,提出一种混合架构来达到最大的可扩展性。邵铮将在12月14日“2014中国大数据技术大会”上详细分享Dropbox的整合实践以及下一步的计划。了解详情,点击报名!

邵铮

Dropbox研发经理

邵铮是美国云存储公司Dropbox的研发经理,也是大数据开源平台Hadoop的项目管理委员会成员。邵铮于2014年3月加入Dropbox,负责分布式数据库存储和系统监控。之前,邵铮是Facebook早期的华人工程师和工程经理,在Facebook任职6年,参与和负责Hive,Scribe,Puma,MySQL,RocksDB等项目的开发和大规模应用。邵铮在Stanford大学获得管理工程和科学专业的硕士学位,在UIUC获得计算机科学的硕士学位,在清华大学获得计算机科学的学士学位。邵铮曾在多项国际编程赛事中获得奖项,包括Topcoder semifinalist, Google Code Jam finalist, ACM/ICPC Finals2001 11th Place, IOI 1999 Gold medal。

邵铮采访实录如下:

CSDN:您所在的公司,都曾使用过哪些大数据技术?您对这些技术满意的地方和不满意的地方分别有什么?

邵铮:Dropbox使用下列大数据相关的开源项目:Hadoop(HDFS and Map-Reduce), Hive, Scribe, HBase, Kafka, Presto, Zipkin。我们对大部分的技术都比较满意,主要不满意的地方都是在稳定性,就是出现问题的时候如何快速解决。

CSDN:根据您的了解,目前类似的企业中,在数据方面,遇到的最大困难是什么?

邵铮:挑战存在于以下三个方面:

从软件的角度讲,大部分的开源软件还都不够成熟,而又过分强调性能而不是稳定性。这一方面催生了更多的专有系统,另一方面也让开源软件的咨询市场变大了很多。 从硬件的角度讲,云平台的使用越来越多,而传统的在自己数据中心中的部署越来越少。由于部署运维等各方面的困难,大数据的平台会越来越快地转到云上。 从使用者的角度来谈,最大的困难是易用性和透明性。很多大数据的技术都太底层,没有能直接解决一个问题的方案。开发者在大数据平台上的继续开发非常重要。

CSDN:在大数据领域,目前还有哪些技术是您正在观察和研究的,为什么您看好这些技术?

邵铮:我们目前非常关注下列技术:

Spark,SparkSQL,适用于提高数据仓库的运行效率的响应速度; ElasticSearch,适用于半结构数据的采集,索引和查询; OpenTSDB和InfluxDB,适用于运维数据的采集和存储; Grafana,适用于运维数据的可视化。

CSDN:请谈谈您在这次大会上即将分享的话题。

邵铮:这次将要和大家分享的话题是大数据在Dropbox运维领域的应用。首先我们介绍为什么利用大数据来做运维很重要,以及目前业界的现状,然后我们会比较常见的几种利用大数据来做运维的架构,并提出Dropbox运维系统的架构,最后会介绍我们公司在这方面的下一步的计划。

CSDN:哪些听众最应该了解这些话题?您所分享的主题可以帮助听众解决哪些问题?

邵铮:关注大数据应用的工程师,关注系统运维的工程师。

全国大数据创新项目评选活动目前正在如火如荼进行中,详情点击这里。

2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将于2014年12月12日-14日在北京新云南皇冠假日酒店召开。传承自2008年,历经七届沉淀,“中国大数据技术大会”是目前国内最具影响、规模最大的大数据领域技术盛会。本届会议,你不仅可以了解到Apache Hadoop提交者Uma Maheswara Rao G(兼项目管理委员会成员)、Yi Liu,以及Apache Hadoop和Tez项目管理委员会成员Bikas Saha等分享的通用大数据开源项目的最新成果和发展趋势,还将斩获来自腾讯、阿里、Cloudera、LinkedIn、网易等机构的数十场干货分享。 当下门票团购还有些许优惠, 预购从速。

免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

时间: 2024-07-30 11:00:32

【BDTC先睹为快】邵铮:用大数据搞定Dropbox系统运维的相关文章

3秒帮你用大数据搞定微信公众号运营!

微信红利期已经过了,很难再通过简单的发发帖子.做做营销活动来吸引用户眼球. 更何况,对于大部分企业和个人来说,并不具备先天的品牌优势,很难有能力做到像papi酱.咪蒙这样每篇推文10 万+阅读量的成绩. 但是,微信毕竟已深深嵌入我们的日常生活,注定是企业不能轻言放弃的重要营销和传播阵地,要打好微信营销这场硬仗,你需要大数据的运营工具! 究竟用户偏好阅读什么样的图文消息?什么时候进行推送效率最高?如何判断当前页面产生的效益是否达到最大化?依据什么指标进行活动决策(维持/调整/下架)?要回答这些问题

数据中心新的自动化运维技术

自从数据中心引入了云计算.虚拟化等大咖技术,立刻变了模样,这些技术大幅提升了数据中心的运行效率,给数据中心带来了诸多好处.不过,任何事情都有两面性,我们在享受新技术带来的益处时,也给数据中心运维的管理带来了不便,需要管理对象的数量.规模及复杂度均呈现指数级增长,传统人工干预.保姆式管理监控与故障处理的方式肯定无法满足要求了.比如对于公有云及大型私有云,服务器数量往往可以达到数万到数十万.百万规模,各类系统云服务及租户的业务应用负载数量,也达到了数以百万乃至千万级的程度,这样全靠人工维护不现实,必

数据中心网络流量精细运维

从IDC运营商和云服务商的角度来说,做好网络运维是企业的根本.国内对互联网带宽需求的快速增长,催生出很多大型的IDC服务商,他们在全省.全国,甚至全世界布局数据中心.快速布局的同时如何对数据中心流量精细运维与管理,关系着IDC行业的整体收益和发展. 安畅网络CTO 张玮 在12月21日第十一届中国IDC产业年度大典的安全分论坛上,安畅网络的CTO 张玮就数据中心网络流量精细运维做了分享. 在全国范围内,安畅运营管理了13个数据中心,对外通过BGP进行互联,在全国几大城市建立了一个网络出口点. 基

药物研发新手段:谷歌用大数据搞淬炼

全球搜索引擎巨头谷歌已经大举进军医疗领域,构建健康数据平台,着重提高了医疗资讯在搜索结果页面的地位.诚然如我们所见,在健康医疗这方面,谷歌着实下 了不少功夫,从在搜索中回答与健康相关的问题,到给开发者提供健身数据平台,谷歌在我们的日常健康中扮演的角色越来越重要.这家互联网大腕如今也在努力进 行药物的研发,争取为治疗人类顽疾,攻克医学难题贡献出自己的力量. 同斯坦福大学的潘德实验室(Pande Lab)合作,谷歌研究(Google Research)发表了一篇题为"针对药物研发的大规模多任务网络&

360系统重装大师一键免费搞定重装系统

"装个电脑操作系统收费要上百元,真够贵的,但着急用,只好同意." 刚刚在一家电脑维修点花了150元为电脑装上了盗版Win 7操作系统的李先生感觉很无奈.电脑启动出了问题,想重装又不太懂,这样的用户只得忍受维修店的高价.据悉,现在网上很流行免费的"系统重装"工具,能解决困扰用户的难题. 电脑城装系统价格不一 盗版很普遍 据360安全中心的专家介绍,电脑使用时间越久,系统中的垃圾就会越多,如果核心的系统文件破坏了,电脑就可能无法启动.遇到这种情况,基本上只能重装系统.最

搞定win7系统提示错误1079故障

  首先根据该服务的可执行文件路径属性找到其所属的服务组,例如Alert服务属于LocalService的服务组,然后再确定同一组的其他服务的启动账户,并将其修改为相同的启动帐户就可以解决了. 1.首先打开开始菜单中的控制面板,选择打开管理工具,在管理工具列表中打开"服务"选项; 2.接着在打开的服务列表中,找到"Security Center"服务项,并鼠标右击选择属性项; 3.在弹出来的属性面板中切换到"登录"选项卡,将登陆身份修改为&quo

一招搞定win8系统无线网络经常受限问题

  1.鼠标右键单击桌面上的计算机图标,在弹出的菜单中选择"属性",然后在属性窗口中点击"设备管理器",接着找到下方的"网络适配器"选项,如下图所示: 2.打开网络适配器窗口后,找到电脑正在使用的网卡驱动,然后单击右键,选择"属性".在弹出的属性窗口中,我们点击切换到"高级"栏,在属性下的方框中找到并选中802.11n这一项,然后旁边的值的窗口中设置为混合模式.如下图所示: 3.接着切换到"电源管

高手教你搞定win7系统MSN自动脱机问题

  1.登录win7系统后,依次点击桌面左下角的"windows图标-所有程序-附件",找到并用鼠标右键单击"命令提示符",在弹出的菜单中选择"以管理员身份运行",如下图所示: 2.打开管理员命令界面后,我们在光标闪动处输入"netsh int tcp set global autotuninglevel=disabled ",接着按Enter键确认执行该命令,如下图所示: 完成设置后,当我们再次启动MSN的时候,就不会出现经

教你一招搞定win7系统搜索功能无法使用问题

  1.在桌面上按组合键(win+R)打开运行窗口,输入"regedit",回车确认,如下图所示: 2.打开注册表编辑器后,依次展开"HKEY_CURRENT_USERSoftwareMicrosoftWindowsCurrentVersionExplorerCabinetState",然后在右边窗格中单击鼠标右键新建一个字符串值,并将其命名为"UseSearchAsst",如下图所示: 3.接着双击UseSearchAsst,打开编辑窗口,将数