9位Committer聚首Hadoop中国技术峰会

  对于开源技术社区,Committer的作用是非常重要的。Committer能够对某个特定开源软件的某一块源代码进行修改。根据百度百科的解释,Committer机制是指一批对系统和代码非常熟悉的技术专家(Committer),亲自完成核心模块和系统架构的开发,并主导系统非核心部分的设计与开发,且唯一拥有代码合入权限的质量保障机制。其目标是:专家负责,严控合入,保障质量,提升开发人员能力。

  Committer的身份对于热衷于开源技术的软件工程师来说,是一种莫大的荣誉。对于相关的企业来说,拥有Committer数量的多少也在一定程度上反映了该公司的技术实力和水平。拿Hadoop为例,Hortonworks拥有22位Hadoop Committer,Yahoo!拥有10位,Cloudera拥有8位,具体参见:http://hadoop.apache.org/who.html#Hadoop+Committers

  11月22-23日在北京举办的Hadoop中国技术峰会(http://www.chinahadoop.com)邀请到了多少位拥有Committer身份的技术大件的来分享呢?答案是9位。他们分别活跃在Hadoop、Hbase、Mesos、Thrift、Azkaban、Hama、Spark等领域。

  下面让我们一起来了解一下他们的风采:

  Benjamin Hindman

                                            ▲Benjamin Hindman

  Ben是 Apache Mesos项目创始人,他早在伯克利读博士期间就开启了这一项目,随后他把Mesos引入了Twitter,目前Mesos运行在几千台机器上面。除了继续领导Apache Mesos之外,Ben也是Twitter公司里的一名技术领袖,是公司架构层面的项目评估成员之一。他在此次技术峰会上将分享的议题是:Mesos making it easy to build distributed systems in Twitter。Mesos最大的卖点是对Hadoop上作业资源的管理,从而使得在多种计算框架并存的集群环境中提供一种统一的资源管理平台。

  Todd Lipcon

                                                ▲Todd Lipcon

  Todd Lipcon是Hadoop、HBase和Thrift项目的PMC(Project Management Committee)成员和committer,也是Cloudera公司的明星级工程师。他将在技术峰会上分享《New features in Hadoop & Hbase, exciting features in Impala》。Cloudera Impala是基于Hadoop的实时查询开源项目,据称要比原来基于MapReduce的Hive SQL查询速度提升3~90倍。

  Ted Yu

                                                     ▲Ted Yu

  Ted Yu在Hortonworks工作,是一名Apache HBase Committer,目前在Apache HBase项目组中只有33名成员。他将带来Hbase的最新进展。HBase是一个分布式的、面向列的开源数据库,就像Bigtable利用了Google文件系统所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache Hadoop的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

  俞晨杰(Chenjie Yu)

  俞晨杰是LinkedIn Hadoop高级工程师,是 LinkedIn Hadoop 组的主要成员之一,是开源作业流调度软件 Azkaban 的主要创作者之一。在加入 LinkedIn 之前,他在 Yahoo 数据平台组,开发 Hadoop 上的大规模数据处理流水线。其擅长的Azkaban是Hadoop批处理调度器(详细介绍:http://data.linkedin.com/opensource/azkaban),用来构建和运行Hadoop作业或其他脱机过程。他会跟大家来分享Hadoop在LinkedIn的应用。

  冼茂源

  搜狗高级工程师冼茂源是Hadoop Hama项目的committer,他将介绍Hadoop子项目Hama(http://hama.apache.org/)在搜狗的使用。Apache Hama是Google Pregel的开源实现,与Hadoop适合于分布式大数据处理不同,Hama主要用于分布式的矩阵、graph、网络算法的计算。简单地说,Hama是在HDFS上实现的BSP(Bulk Synchronous Parallel)计算框架,弥补Hadoop在计算能力上的不足。

  戴金权

  戴金权(Jason Dai)是英特尔软件和服务事业部技术总监、首席工程师,负责领导英特尔大数据技术的研发工作。他是一名Spark Committer。Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。Spark是一个高效的分布式计算系统,相比Hadoop,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。Shark类似“SQL on Spark”,是一个在Spark上数据仓库的实现,在兼容Hive的情况下,性能最高可以达到Hive的一百倍。

  黄晟盛

  黄晟盛也来自英特尔软件和服务事业部,也是一名Spark Committer。他将和Jason Dai一起在此次峰会上《Mining web-scale social graph with GraphX》,GraphX是Spark平台上的一个全新的弹性分布式图像处理框架,可以大大提高面向社交网络、精准广告领域里的机器学习和数据挖掘效率。

  李浩源(Haoyuan Li)

  李浩源是UC Berkeley AMP实验室的博士,是Spark的核心开发人员。李浩源专注于计算机系统以及大数据的研究。师从Dr. Scott Shenker和Dr. Ion Stoica两位教授。在校期间,创建了Tachyon系统以及SparkStreaming系统,是Apache Spark committer,Shark committer,伯克利大数据处理平台(BDAS)主要研发者之一。曾在Google和Conviva从事大数据处理挖掘的研发工作,所研发的PFP大数据挖掘算法被Apache Mahout所采用。李浩源拥有北京大学学士学位以及康奈尔(Cornell)大学硕士学位。李浩源演讲的主题是《Tachyon -?比HDFS快100倍的分布式内存缓存》,Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。

  辛湜(Reynold Xin )

  Reynold Xin (辛湜) 是Apache Spark开源社区的主导人物之一。他在UC Berkeley AMPLab进行博士学业期间参与了Spark的开发,并在Spark之上编写了Shark和GraphX两个开源框架。今年年中,他和AMPLab同僚共同创建了Databricks公司。他分享的议题大会主办方还没有公开,据称是个神秘议题。

时间: 2024-11-01 09:57:41

9位Committer聚首Hadoop中国技术峰会的相关文章

Hadoop中国技术峰会引发Hadoop 2.0风暴

Hadoop从2006年诞生到现在已经走过7年.试问当今全球执Hadoop技术牛耳者当谁?你一定会想到Hortonworks和Cloudera,否则你都不好意思说你了解Hadoop. 作为本年度大中华地区规模最大的Hadoop技术峰会,China Hadoop Summit是不会被这两大厂商 忽视的.记者日前从大会组委会了解到,Hortonworks亚太区 技术总监Jeff Markham将在大会第一天发表主题演讲, 重点介绍Hadoop 2.0和YARN的最新消息,以及Hadoop未来的发展方

大数据“小时代”中国技术峰会强势来袭

文章讲的是大数据"小时代"中国技术峰会强势来袭,今年全国普通高校毕业生规模高达699万,2013年的夏天被称为"史上最难就业季".事实果真如此吗?笔者认为,大学生找一份温饱的工作显然不难,难的是找一份适合自己的好工作.什么样的工作是好工作?这个问题仁者见仁智者见智,不过,薪水待遇绝对是衡量工作好坏与否的一个重要指标. 权威调查机构Dice Tech的2013 薪资Top 100调查显示,以Hadoop为首的大数据傲视群雄,成为了最赚钱的行业.换而言之,Hadoop无

直播 | DPDK中国技术峰会2017

时光荏苒 技术发展与创新脚步永不停息 回首过去一年 DPDK已经正式加入Linux基金会 社区发展与参与度前所未有 更多贡献者的添砖加瓦 使得网络数据面的软件创新层出不穷 为了进一步促进数据平面技术的发展 为大家提供一个交流分享的平台 DPDK中国技术峰会2017将于6月27日举行 我们诚挚地邀请您参加此次峰会 共商未来! 大会时间:2017 年 6 月 27 日 08:30 ~ 17:30 大会地点:上海万豪虹桥大酒店 线上直播:扫二维码直播报名! 扫码报名 看直播 会议日程 Agenda 技

2016中国spark技术峰会见闻摘要

5-15号笔者参加了2016中国spark技术峰会,各演讲嘉宾分享了很多spark实践经验,本文整理了笔者印象比较深的内容,ppt详见峰会ppt <spark and yarn :better together> Hortonworks技术专家邵赛赛分享了spark如何更好地跑在yarn上,主要以下三点: Better use the resources Better run on cluster Easy to debug Better use the resources 使用资源讲了计算内

2012中国技术商业领袖峰会暨技术商业创新展

在http://www.aliyun.com/zixun/aggregation/31873.html">全球经济衰退的压力中,商业文明如何走出低谷,持续发展? 中国改革开放走过30多年的粗放式发展历程,目前陷入结构性发展困难阶段,如何才能找到破解的钥匙?我们需要找到新的圣火与源动力,来推动我们的商业.社会.文明持续创新发展! 上帝关上一扇门,一定会打开另一扇窗! 一波新技术浪潮在文明发展的关键时期,如雨后春笋般破土而出,我们看到: 一个全球数字化,地球上超过50%的人时时连接在线的C 时

资料来啦(含视频+PDF)!首届阿里巴巴在线技术峰会,9位大V演讲整理!

感谢参加阿里巴巴在线技术峰会.7月19日的3场专家分享:Blink.Docker.电商互动:7月20日的云数据库十大经典案例.基于Java容器的多应用部署.基于大数据的全球电商系统架构:7月21日的AliSQL性能优化与功能突破的演进之路.企业大数据平台仓库架构建设思路.阿里聚安全在互联网业务中的创新实践,9位专家的PDF和文章均已发布,欢迎分享.到今天,视频也已经出炉! 资料链接如下,欢迎分享. 大会专题链接:https://yq.aliyun.com/activity/97 7月19日 Bl

转型新金融 2015华为中国农信技术峰会

本文讲的是转型新金融 2015华为中国农信技术峰会,2015年5月15日,华为在济南举办了2015华为中国农信信息技术峰会,本届大会以"转型新金融 驾驭新未来"为主题,吸引了全国30多家省农信科技部嘉宾及专家约100人参加本次峰会,同时还邀请了包括监管机构.农信银资金清算中心领导,以及阿里巴巴.SAP和Infosys等在内的资深专家,与与会者共同探讨转型期安全可控,持续创新的信息技术如何促进农信业务发展和创新. 华为企业BG中国区副总裁胡忠华在致辞中,从目前银行业所处环境,信息技术变革

共话大数据 2013大数据全球技术峰会召开

2013年4月26日,由51CTO传媒旗下WOT(World of Tech)品牌主办的"2013大数据全球技术峰会"在北京富力万丽酒店正式举办.本次峰会聚焦大数据技术,围绕大数据基础架构与上层应用的生态系统,探索大数据基础的解决方案,全面剖析了数据从产生到挖掘到最后被消费的整个过程. 本届峰会为期2天,吸引了全球1000多位大数据领域的专业人士.企业及政府用户.技术专家.行业分析师和媒体共聚一堂,共同交流大数据时代的机遇和挑战,探讨在传统企业应用.新兴行业拓展的创新. 工信部软件与服

115期:在线大数据技术峰会回顾合集!

本期头条   票选最美云上大数据暨大数据技术峰会上,阿里云飞天一部计算平台高级专家无庸为大家带来题为"高可用大数据计算服务如何持续发布和演进"的演讲.本文先对MaxCompute架构进行了介绍,接着重点介绍在大数据计算服务下,高可用服务持续改进和发布的工具,包括Playback工具.Flighting工具和灰度上线.细粒度回滚等,点击查看. • [资料合集]在线大数据技术峰会:讲义PDF+活动视频! • 提速1000倍!阿里率先采用Intel Optane SSD • 东京见闻:快速走