代替HDFS的绝佳方案

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

Apache软件基金会成立的时候,HDFS就一直在想办法提高它的性能和可用性,坦白说,这也许对试点项目、非常规项目、要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能、可用性、企业级特性有较高的要求,且注重直接附加存储(DAS)架构,特别是老版本的Hadoop没有高性能的主节点,那么接下来8个产品就是代替HDFS的绝佳方案。

1. Cassandra (DataStax)

并非一个完全的文件系统,而是一个开源、NoSQL 键值(key-value)商店。这给依靠快速数据访问的Web 应用多了一个HDFS选择。简单来说它把Hadoop融合在Cassandra里面,支持Web应用通过Hadoop快速访问数据, 而Hadoop可以快速访问流入Cassandra的数据。

2. Ceph

Ceph 是一个开源、多管齐下的操作系统,因为其高性能并行文件系统的特性,有人甚至认为它是基于Hadoop环境下的HDFS的接班人,因为自2010年就有研究者在寻找这个特性。

3. Cleversafe:分散存储网络

本周一Cleversafe宣布将融合Hadoop的并行编程技术和自己的分散存贮网络。其原理是通过把整个元数据分布在集群中(不是依靠单个主节点、不是依靠复制),Cleversafe表示这比HDFS更快、更稳定、更具扩展性。

4. GPFS (IBM)

IBM一直在向高性能要求的用户销售其并行文件系统,包括世界上最快的超级电脑,2010年它推出了基于Hadoop的GPFS, 并宣布GPFS不共享集群版本比Hadoop快多了,因为它在内核级别中运行,而不是在操作系统中运行例如HDFS。

5. Isilon (EMC)

EMC提供Hadoop发行版已经一年了,但2012年1月转型为HDFS企业级别的新方案——Isilon 的 OneFS文件系统。因为Isilon可以读取 NFS, CIFS以及 HDFS 协议, 一个单独的 Isilon NAS系统可以摄入、处理、分析数据。

6. Lustre

HPC存储提供商Xyratex 增在2011年的一份报道中写到, 基于Lustre的集群会比基于HDFS的集群更快更便宜。

7. MapR 文件系统

MapR 文件系统在业内已经具有一定知名度了,不仅MapR宣布它自己的文件系统比HDFS快2-5倍(实际上有20倍),它还具有镜像、快照、高性能这些企业用户喜欢的特点。

8. NetApp Hadoop开放方案

NetApp重新改版了物理Hadoop结构:把HDFS放在磁盘阵列中,通过这样来达到更快、更稳定、更安全的Hadoop工作。

(责任编辑:蒙遗善)

时间: 2024-10-26 02:25:38

代替HDFS的绝佳方案的相关文章

Hadoop危机?替代HDFS的8个绝佳方案

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问.无法高效存储大量小文件.不支持多用户写入及任意修改文件. Apache软件基金会成立的时候,HDFS就一直在想办法提高它的性能和可用性,坦白说,这也许对试点项目.非常规项目.要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能.可用

刘金鸽:成立优化团队的绝佳方案

中介交易 SEO诊断 淘宝客 云主机 技术大厅 当我写这篇文章的时间,我也有这个念头成立一个属于自己的网站优化团队,然后自己去花费所有的经历去经营这个优化团队.其实说真的我以前也曾经成立过这样的一个团队,可能就是因为自己在做这个团队之前没有一个成功的团队策划方案,最后才导致了这个团队没有接单子,最后就不欢而散了,所以通过那次的失败我总结了要想做成功这个优化的团队,那就要注意几点: 第一点.网站程序 我为什么要把这个放到第一位呢?我想我不用说大家也都知道是什么原因,因为他是整个团队的核心组成部分.

思变赢机遇科技创未来 —— 绝佳时机,前所未遇——思科解决方案全国巡展苏州站盛大揭幕

北京,2016年9月21日--以"思变赢机遇科技创未来"为主题的思科解决方案全国巡展苏州站在希尔顿逸林酒店盛大揭幕.活动中,思科向当地的企业客户和渠道合作伙伴展示了全新数据中心解决方案和技术创新方面的成果,让广大企业客户能够近距离感受全数字化转型如何推动行业变革.思科如何帮助企业客户通过业务转型成就商业成功.同时,思科深入介绍了在制造.零售.金融.医疗等行业的全球成功实践,与客户.合作伙伴.业界人士共同探讨如何把握前所未遇的全数字化转型绝佳时机,重新定义商业模式和企业价值.     网

Mac 应用程序开发的绝佳起点

  你是否想要开发 Mac 应用程序却又不知道从哪里入手?本路线图提供了 Mac 应用程序开发的绝佳起点,即使你已经是一个 iOS 开发专家,本路线图对你依然适用.Apple让开发应用程序和提交应用程序到 Mac App Store 变得简单.遵循本路线图以了解如何取得开发工具,理解主要概念及最佳实践,并学会查找更多信息.   继续遵循此路线图,你将使用到 Xcode(Apple 提供的集成开发工具)来开发 Mac 应用程序.你将了解 Objective-C(驱动所有Mac应用程序和框架的程序设

Web Apps的绝佳案例:Web Apps的特性

文章描述:Google Web App开发指南第一章:什么是Web Apps? 很多人向我问起学习HTML5技术的权威入门资料,我总是毫不犹豫地推荐由Google推出的HTML5rocks,这个网站就像一个宝库,包含经典的教程.文章.Demo和代码.近日 Chrome小组又推出了一个很酷的Web App电子书,讲述了Chrome开发人员对Web Apps的思考和最佳实践,推荐每个关注Web Apps的开发者阅读.Web AppTrend为方便国内开发者浏览,将全文进行翻译. 注:这本书就是一个W

Hadoop HDFS RPM包安装方案

文章出处:http://netkiller.github.io/storage/hdfs.html   5.2. Hadoop HDFS RPM包安装方案 你是不是感觉Hadoop 安装太复杂呢? 下面是无障碍,无门槛安装方案,非常适合不懂Java得系统管理. HDFS:       NameNode  :管理节点       DataNode  :数据节点       SecondaryNamenode : 数据源信息备份整理节点 MapReduce        JobTracker  :任

思科创新峰会2017以技术为桥 迎接全数字化转型绝佳时机

017年3月24日,以"数字变革 创领世界"为主题的思科创新峰会2017在北京召开.开会的那天早晨,北京下起了绵绵春雨,"晓看红湿处,花重锦官城"的意境特别美.在思科创新峰会2017的主会场外,是思科技术团队和行业合作伙伴搭建的展厅,除了思科最前沿的技术展示之外,还有行业应用场景的再现,每一个展台前皆摩肩接踵人声鼎沸,如此热烈的讨论氛围,也很美. 思科创新峰会2017诚意十足,今年主题演讲囊括全数字化网络架构.数据中心.云.安全.协作.未来企业IT等众多方面,深入探

绝佳的流量变现渠道

当下的视频网站江湖中,巨头林立.竞争激烈,可谓存亡绝续的一片红海.在国内众多的视频网站中,一直特立独行的风行网虽面临强敌环伺,却凭借着多年来的潜心摸索得以在众多巨头割据中立足和发展.风行网的CEO罗江春,在技术.市场.管理方面都可堪称道,对于在这样一片红海中搏击风浪也独有一番操舵纵帆的心得.     罗江春2000年从美国休斯顿的赖斯大学获得计算机科学硕士后, 凭借自己在美国经纬通讯以及思科等公司担任技术带头人的积累,和入行以来的市场嗅觉,在2005年9月与伙伴共同创立了北京风行在线技术有限公司

主流程序员的绝佳选择?三个选择使用 Go 语言的理由

几个星期前,我一个朋友问我:"为什么要关心 Go 语言"? 因为他们知道我热衷于 Go 语言,但他们想知道为什么我认为其他人也应该关心.本文包含三个我认为 Go 是重要的编程语言的原因. 安全 个人而言,你和我或许完全有能力在 C 中编写程序,既不会泄漏内存,也不会不安全地重复使用内存.然而,整体上,即使有超过 40 年的经验,用 C 的程序员也无法可靠地这样做. 尽管静态代码分析.valgrind.tsan 以及 "-Werror" 已经存在了几十年,却很少有证据