这些技术可能会阻碍你在大数据征程上的步伐

我们踏上这个大数据征程已有一段时日了。一切不再依然光鲜亮丽。实际上,一些技术可能会阻碍你的步伐。切记,大数据是企业技术行业发展最快的一个领域,快得一些软件还没有站稳脚跟,更好的技术就已扑面而来。

那些技术升级或更换至关重要,这关系到大数据项目获得成功,还是你在今后几年通过行动让大家原谅你的过失。下面是你应该开始考虑更换掉的大数据架构中的一些要素。

MapReduce

MapReduce速度很慢。它也很少是着手处理问题的最好方法。还有其他算法可供选择,最常见的算法是DAG,MapReduce被认为是DAG的一个子集。如果你处理过一批自定义的MapReduce任务,就会发觉与Spark相比性能差多了,值得投入成本和精力来更换MapReduce。

Storm

我倒不是说,Spark 会称霸数据流领域,不过它可能会,但是由于Apex和Flink之类的技术,外头有些Spark的替代方案比Storm更出色,而且延迟更低。除此之外,你应该评估对延迟的容忍程度,你编写的那些较低级较复杂的代码中的缺陷是不是值得延迟多几毫秒。Storm并没有得到应有的支持,Hortonworks是唯一真正的支持者,由于Hortonworks面临越来越大的市场压力,Storm不太可能得到更多人的关注。

Pig

Pig形势有点不妙。你可以用Spark或其他技术做Pig所做的任何事情。起初,Pig似乎是一种很好的“面向大数据的PL/SQL”,但你很快发现它有点怪异。

Java

不,这里说的不是Java虚拟机(JVM),而是Java这种语言。语法对大数据任务来说很笨重。另外,像Lambda这些更新颖的构件以一种有点笨拙的方式事后扩充上去。大数据世界已经很大程度上迁移到了Scala和Python(如果你承受得了性能影响,又需要Python库,或者拥有大量的Python开发人员,就使用Python)。当然,你可以使用R用于统计数据,直到你用Python来改写,因为R没有所有好玩的规模特征。

Tez

这是Hortonworks的另一个宠物项目。它是一种DAG实现,但是与Spark不同,Tez被其中一个开发人员描述为像是用“汇编语言”编写。目前,借助Hortonworks发行版,你最后得在Hive及其他工具后面使用Tez,但是你可能已经使用Spark作为其他发行版中的引擎。不管怎么说,Tez始终有不少缺陷。同样,这是一家厂商的项目,不像其他技术那样得到行业或社区的广泛支持。相比其他解决方案,它也没有任何压倒性的优势。这是我期望合并掉的一种引擎。

Oozie

我很早以前就不喜欢Oozie。它不是什么了不起的工作流引擎,也不是什么了不起的调度器,不过它想搞好这两者,却都搞不好!然而,它有一大堆的软件缺陷,这款软件编写起来不该很难。面对StreamSets、DAG实现以及其他一切,你应该有的是办法来处理Oozie处理的大部分任务。

Flume

在StreamSets、Kafka 及其他解决方案之间,你可能有Flume的替代方案。2015年5月20日发布的这个版本看起来有点过气了。你可以跟踪分析较上年同期的活动强度。许多人离它远去,也许是该翻篇的时候了。

也许到2018年……

还剩下什么?一些技术日渐老朽,但是完全切实可行的替代方案还没有问世。不妨事先想想更换掉这些技术:

Hive

有点过于吹毛求疵了,但是Hive好比是市面上性能最低下的分布式数据库。要是我们整个行业没有认定关系数据库管理系统(RDBMS)是自切片面包以来这40年来最出色的技术,那么我们果真会开发出这种怪兽?

HDFS

用Java编写一种系统级服务不是最好的想法。Java的内存管理也使得传送大量字节有点慢。HDFS NameNode的工作方式对任何任务来说不是很理想,造成了瓶颈。各家厂商拿出了变通方法,改善这种情况,但是坦率地说,市面上有更好的技术。还有其他分布式文件系统。MaprFS就是一种设计相当出色的分布式文件系统。还有Gluster及另外一批文件系统。

着眼于未来,是时候剔除一批看起来大有希望,但是已变得落后或过气的技术了。这是我的全文,还有什么技术是我要补充上去的吗?

本文作者:佚名

来源:51CTO

时间: 2024-10-02 04:11:57

这些技术可能会阻碍你在大数据征程上的步伐的相关文章

碳云智能CEO王俊:大数据基础上人人都将活到120岁 | 2017 IT领袖峰会

雷锋网4月2日消息,2017中国(深圳)IT领袖峰会于今日召开.在下午的论坛<颠覆性技术与人类未来>中,斯坦福大学物理系讲座教授.美国国家科学院院士张首晟.碳云智能创始人兼CEO王俊.超多维科董事长戈张.康得新复合材料董事长钟玉参与了该场高端对话. 其中,王俊认为生命本身就是数字化,它是一个运行的程序,人类正在尝试理解程序的编译方式和运行原理.相较于人工智能在其他领域的应用,生命科学的大数据时代远远没有到来,但在可预见的未来,生命科学数据将实现飞跃式的发展.他提到生命这套程序的设计就是120岁

大数据遇上“工业4.0” 万亿级产业机遇隐现

从产品生产.企业运营.物流运输再到精准营销,大数据似乎可以从各个方面参与,并且改变制造业的发展现状.而在风险与机遇并存的转型过程中,制造业企业必将遭遇众多的技术困难与理念障碍. 工信部长苗圩撰文解读我国制造业如何由大变强时称,当前的重点是推动互联网在制造业领域深化应用,积极发展云制造等基于互联网的新型制造模式,培育工业互联网新应用,建设一批工业云服务和工业大数据平台.大数据被当作制造业连接互联网的命脉,互联网大佬们称,大数据是区别传统制造业和智能制造的关键.大数据给制造业带来的价值,似乎正在逐渐

拥抱大数据 智慧城市迈开步伐大步走

3月10日,全国政协委员.神州控股董事局主席郭为在接受2017两会高端访谈时表示,"智慧"是一个阶段性的概念,从数字化到智能化再到智慧化.首先是数字化,就是把很多东西进行数字化,从模拟信号变成数字信号.第二个就是要智能化,在数字化的基础之上,做到自动控制,把人类的很多经验让机器去学习,然后使得机器具有智能判断这样的能力,这就是智能化的结果.最后智慧化其实就是用更大的数据量使得这个决策的效果更好. 拥抱大数据 智慧城市迈开步伐大步走 按照"智慧"的来源,智慧城市可以分

大数据再度上榜两会 IT界大佬提案扫描

文章讲的是大数据再度上榜两会 IT界大佬提案扫描,3月3日,全国政协十二届三次会议在人民大会堂举行.这次大会总共有两千多名政协委员和接近三千名人大代表参与,其中互联网行业的代表人士已经增加至6人,反映这个行业影响力或者重要性正在逐渐提高.而随着"大数据时代"的到来,大数据这座"金矿"作为提升信息消费体验的重要手段,逐渐在各个行业和领域得到广泛应用,并开始对人们生产.生活方式产生革命性影响.随着大数据技术的成熟以及应用成果的初现,2015年两会提案中,"大数

进一步增强使命感责任感在大数据发展上有新作为

近日,高新区举行半年经济运行会议,传达学习市委九届六次全会精神.市政府第96次常务会议精神,研究高新区上半年经济运行情况,安排部署下半年经济工作等. 高新区党工委副书记.管委会主任黄昌祥主持会议并讲话. 黄昌祥指出,全区干部职工.企业.人才要认真学习全会精神,进一步增强使命感.责任感,对全会中明确的任务."1+4+1"文件涉及高新区的工作,要抓好责任分解,马上就办.马上就干.抓紧推进.落地见效. 黄昌祥强调,高新区要努力在"引领大数据技术创新.加快大数据产业集聚,全力打造创新

高新区:进一步增强使命感责任感在大数据发展上有新作为

近日,高新区举行半年经济运行会议,传达学习市委九届六次全会精神.市政府第96次常务会议精神,研究高新区上半年经济运行情况,安排部署下半年经济工作等. 高新区党工委副书记.管委会主任黄昌祥主持会议并讲话. 黄昌祥指出,全区干部职工.企业.人才要认真学习全会精神,进一步增强使命感.责任感,对全会中明确的任务."1+4+1"文件涉及高新区的工作,要抓好责任分解,马上就办.马上就干.抓紧推进.落地见效. 黄昌祥强调,高新区要努力在"引领大数据技术创新.加快大数据产业集聚,全力打造创新

盘点:大数据史上的“神预测”和“乌龙预测”

随着疾病预测.世界杯预测的火爆,"大数据"成了每个IT圈人士张口闭口离不开的话题,好像一切都朝着苹果6 的潮流发展--"bigger than bigger",越大的就是越好的.随着大数据的不断应用创新,大数据预测日益被人们"神话",100%准确率似乎成为了人们衡量大数据能力硬性指标,但事实并非如此.神乎其神的大数据预测有"显灵"一刻,也有"乌龙"一刻.今天小编就带领大家来盘点下大数据史上的关键时刻. 大数

大数据产业链上生财之道

从走在大数据发展前沿的互联网新兴行业,到与人类生活息息相关的医疗保健.电力.通信等传统行业,大数据浪潮无时无刻不在改变着人们的生产和生活方式.大数据时代的到来,给国内外各行各业带来诸多的变革动力和巨大价值. 据研究企业MarketsandMarkets公司最新发布的报告称,全球大数据市场规模将在未来五年内迎来高达26%的年复合增长率--从今年的148.7亿美元增长到2018年的463.4亿美元.全球各大公司.企业和研究机构对大数据商业模式进行了广泛地探索和尝试,虽然仍旧有许多模式尚不明朗,但是也

别轻易给大数据扣上“嫌贫爱富”的帽子

文章讲的是别轻易给大数据扣上"嫌贫爱富"的帽子,市场的事还是多让市场自己说话,别轻易给大数据扣上"嫌贫爱富"的帽子,只要别在人前炫耀,别把我的个人隐私四处张扬,怎么生活都与别人无关. 这两天的微信朋友圈,最热的话题不是什么心灵鸡汤,而是广告.微信的朋友圈广告,据说针对不同收入的人群推送了不同的广告,一时成了身份和地位的标识被热议. 自打小广告从电线杆纷纷挪到互联网.电话.手机短信中以后,小伙伴们还从来没有像这一天这样渴望过被广告骚扰.有人被宝马车广告砸中,忙不迭地在