Hadoop创始人寄语2017:五种让开源项目成功的方法

搭建一个开源平台,组织就能利用云供应商套利来降低成本

由于Doug Cutting和Apache软件基金会有多年的合作关系,于是经常被问到“什么是开源技术的未来?”。Doug的回应一般要么是“我不知道”,要么是“有无穷的可能性”。

在过去的一年中,我们已经看到开源技术强势的发展成了企业的技术主流。谁会想到十年前Doug在Hadoop所做的工作会影响到那么多的行业,从制造到电信,再到金融等等。它们都掌握了开源生态系统的力量,不仅改善了客户的体验,变得有创新性并获得了利润增长,而且支持对社会有更大利益的工作,比如通过基因组研究、精密医学等项目来阻止人口贩卖,这仅仅是一小部分例子。

有人会很好奇如何开始着手进行开源工作,以及从不断变化的生态系统里期望能得到什么,下面Doug列出5个小贴士:

1. 拥抱开源的不断改变和演进

不断地变化,这是每一个刚接触开源技术的人需要学习的第一课,也是开源有别于传统软件的最大不同之处。开源的本质是易变、灵活,它的新项目常常起源于一些特别的用例。这种动态的循环促使产品变得更好、更快。因此,公司如果想从开源获得完全的好处,他们必须对技术转变保持开放的心态。Spark和MapReduce的辩论就完美的体现了这点的重要性:

事实上,人们在构建新的应用时,MapReduce用得越来越少,而Spark成为他们默认的数据处理引擎。MapReduce正逐渐成为Hive、Pig的底层引擎,这并不意味着它过时了。它还会为现存应用很好地工作很多年,而且对某些大规模批量加载来说仍然是卓越的工具。这一趋势遵循开源技术的自然演进:MapReduce是开源数据生态系统的1.0引擎,Spark是2.0,而某一天会出现3.0让Spark成为历史。

2. 当引入一个新技术栈时,从小开始、由上而下

先不去考虑要构建、部署什么样的解决方案,我们现在有了很多通用数据平台和很多工具,它们能灵活地组合在一起去做搜索、流处理、机器学习还有更多事情。这些工作需要的不仅仅是一套不同的技能,而且还需要管理方式、组织结构等在文化上的转变。为此,重要的是要获得组织内高层的支持,并让数据管理列入董事会层面的一项重点议题。同时,建议拿一些新的应用来逐步建立一个新文化,而不是要取代所有的一切,这样可以让大家通过一个个具体的用例来适应这个变化。

3. 仔细挑选开源软件以避免云供应商捆绑

随着使用云计算的企业组织和产业越来越多,应该考虑到开源软件不仅会带来越来越好的健壮性、可扩展性和安全性,而且也可以帮助他们避免被云供应商捆绑。通过开源平台的构建,组织可以采用云供应商套利以降低成本,可以使用不同地域的不同云,或者基于云和内部部署的混合方式。事实上,开源平台已经证明了自己的技术优越性,2017年也许会取得更多的落地。大量的机构通过开源项目进行合作,单一的供应商要去竞争是很困难的。例如,现在那些开源数据系统在性能和灵活性上就处于领先地位,并且改进得更加迅速。

4. 对求职者来说,开源生态环境里要关注森林,而不是树木

IT领域的求职者,不管是编程还是数据科学,不应该仅仅专注于掌握个别技术,而应该关注理解开源数据生态系统各个组成部分的最佳利用,以及如何把它们连接起来解决问题。这种上层建筑的理解是企业在技术创新中最有价值的技能。随着新技术的到来,至关重要的是了解它们的适应力如何、它们能取代什么、它们能做到什么。

5. 在技能缺口中寻找机会

大数据的技能缺口将在明年保持相对稳定,但这不应该成为人们采用Hadoop以及其它开源技术的阻碍。大多数人都知道,当新的技术被创造出来并争夺用户时,它们对外界而言是很陌生的。只有当一个特定类型的软件成为某个规范的成熟而标准的一部分,才会开始出现大量熟练使用它的人,而即使如此仍然会存在技能缺口。只有当我们不再对技术栈做大的改进时,才会消除这种缺口,不过Doug不认为我们会希望这样做。简而言之,技能缺口是影响平台变革速度的主要因素之一,也是即将来临的创新的标志。

结论

在未来的几年内,开源生态系统将继续扩大,也会不断地在有实际意义的项目里实施。它汇聚了今天最聪明的头脑,在通力合作下,以十年前不可能的速度推进软件开发。如果你想改善现有技术,或者想支持打破传统的观念,可以加入这里。Doug鼓励每个人都有兴趣参与进来,也鼓励经验丰富的人因为这个原因继续坚持下去。点击这里可以了解更多如何加入ASF社区的信息。

本文作者:佚名

来源:51CTO

时间: 2024-09-30 00:23:57

Hadoop创始人寄语2017:五种让开源项目成功的方法的相关文章

Hadoop创始人Doug Cutting寄语2017:五种让开源项目成功的方法

搭建一个开源平台,组织就能利用云供应商套利来降低成本 由于Doug Cutting和Apache软件基金会有多年的合作关系,于是经常被问到"什么是开源技术的未来?".Doug的回应一般要么是"我不知道",要么是"有无穷的可能性". 在过去的一年中,我们已经看到开源技术强势的发展成了企业的技术主流.谁会想到十年前Doug在Hadoop所做的工作会影响到那么多的行业,从制造到电信,再到金融等等.它们都掌握了开源生态系统的力量,不仅改善了客户的体验,变

五种SQL Server分页存储过程的方法及性能比较_MsSql

在SQL Server数据库操作中,我们常常会用到存储过程对实现对查询的数据的分页处理,以方便浏览者的浏览.本文我们总结了五种SQL Server分页存储过程的方法,并对其性能进行了比较,接下来就让我们来一起了解一下这一过程. 创建数据库data_Test : create database data_Test GO use data_Test GO create table tb_TestTable --创建表 ( id int identity(1,1) primary key, userN

五种SQL Server分页存储过程的方法及性能比较

在SQL Server数据库操作中,我们常常会用到存储过程对实现对查询的数据的分页处理,以方便浏览者的浏览.本文我们总结了五种SQL Server分页存储过程的方法,并对其性能进行了比较,接下来就让我们来一起了解一下这一过程. 创建数据库data_Test : create database data_Test GO use data_Test GO create table tb_TestTable --创建表 ( id int identity(1,1) primary key, userN

Android五种隐藏状态栏和标题栏的方法

Android五种隐藏状态栏和标题栏的方法 方法一: public class MainActivity extends Activity { @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); // 隐藏标题栏 requestWindowFeature(Window.FEATURE_NO_TITLE); // 隐藏状态栏 getWindow().se

《开源思索集》一开源项目成功的十条准则(修订版)

开源项目成功的十条准则(修订版) 开源思索集Everyone wants it, lots of people try it, yet doing it is mostly painful and irritating. I'm speaking about free software aka open source. Today I'm going to summarize 30 years of coding experience in ten management-proof bullet

五种启动Win8系统任务管理器的方法

第一.运行任务管理器还有另一种方法:按下Win + X,然后从上下文菜单中选择"任务管理器",然后按Enter键. 第二.打开"任务管理器" - 按Ctrl + Shift + Esc键.可以直接调出win8系统的任务管理器!这是当用户使用系统用鼠标不能正常控制的时候可用的办法.也是比较根本的方法.找到挂起的进程,你可以使用箭头键,完成结束进程操作. 第三.使用Win+R快速打开"运行",输入Taskmgr.exe 按"确认"

Ajax的三种形式(开源项目)

ajax|项目   1 大大减少了服务器端和客户端的数据流量,不像submit-responce时代需要参杂大量的html脚本. 2 丰富了客户端的相应,例如表单子段的提示输入,数据验证.多级列表的实现.树桩菜单的动态加载等等 需要注意的事:Ajax设计时候一定要考虑用户界面事件触发的无序性.1 对一些有写操作的地方,要根据情况实行界面锁定功能,即提交完成前,不可以进行其他操作.2 任何操作都要给用户 Load... 这样的提示 Ajax的三种形式 1 最原始的XMLHTTPRepuest方式,

五种超强的PS锐化照片方法

  01 在ADOBE CAMERA RAW中进行锐化 RAW文件需要多大程度的锐化取决于很多因素,包括作品题材.画面细节.拍摄使用的相机.镜头等.ACR中的锐化设置提供了4个选项滑块,首先是数量,主要用来控制锐化的强度.对于大多数照片来说,锐化数量设置不宜超过50,但如果我们打算将处理后的文件直接用来打印或上传到网站的时候也可以考虑更高的数量值. 其次滑块是半径,用来控制边缘锐化所影响的范围大小.再然后是细节,将其设置为40或50左右的大数值能增强纹理等小细节的锐度表现,设置为10或20左右的

photoshop五种较为流行的通道调色方法(1/6)

  最终效果缩略图   首页 1 2 3 4 5 6 末页