Hadoop危机?替代HDFS的8个绝佳方案

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

Apache软件基金会成立的时候,HDFS就一直在想办法提高它的性能和可用性,坦白说,这也许对试点项目、非常规项目、要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能、可用性、企业级特性有较高的要求,且注重直接附加存储(DAS)架构,特别是老版本的Hadoop没有高性能的主节点,那么接下来8个产品就是代替HDFS的绝佳方案。

1. Cassandra (DataStax)

并非一个完全的文件系统,而是一个开源、NoSQL 键值(key-value)商店。这给依靠快速数据访问的Web 应用多了一个HDFS选择。简单来说它把Hadoop融合在Cassandra里面,支持Web应用通过Hadoop快速访问数据, 而Hadoop可以快速访问流入Cassandra的数据。

2. Ceph

Ceph 是一个开源、多管齐下的操作系统,因为其高性能并行文件系统的特性,有人甚至认为它是基于Hadoop环境下的HDFS的接班人,因为自2010年就有研究者在寻找这个特性。

3. Cleversafe:分散存储网络

本周一Cleversafe宣布将融合Hadoop的并行编程技术和自己的分散存贮网络。其原理是通过把整个元数据分布在集群中(不是依靠单个主节点、不是依靠复制),Cleversafe表示这比HDFS更快、更稳定、更具扩展性。

4. GPFS (IBM)

IBM一直在向高性能要求的用户销售其并行文件系统,包括世界上最快的超级电脑,2010年它推出了基于Hadoop的GPFS, 并宣布GPFS不共享集群版本比Hadoop快多了,因为

它在内核级别中运行,而不是在操作系统中运行例如HDFS。

5. Isilon (EMC)

EMC提供Hadoop发行版已经一年了,但2012年1月转型为HDFS企业级别的新方案——Isilon 的 OneFS文件系统。因为Isilon可以读取 NFS, CIFS以及 HDFS 协议, 一个单独的 Isilon NAS系统可以摄入、处理、分析数据。

6. Lustre

HPC存储提供商Xyratex 增在2011年的一份报道中写到, 基于Lustre的集群会比基于HDFS的集群更快更便宜。

7. MapR 文件系统

MapR 文件系统在业内已经具有一定知名度了,不仅MapR宣布它自己的文件系统比HDFS快2-5倍(实际上有20倍),它还具有镜像、快照、高性能这些企业用户喜欢的特点。

8. NetApp Hadoop开放方案

NetApp重新改版了物理Hadoop结构:把HDFS放在磁盘阵列中,通过这样来达到更快、更稳定、更安全的Hadoop工作。

时间: 2024-10-30 11:21:15

Hadoop危机?替代HDFS的8个绝佳方案的相关文章

代替HDFS的绝佳方案

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问.无法高效存储大量小文件.不支持多用户写入及任意修改文件. Apache软件基金会成立的时候,HDFS就一直在想办法提高它的性能和可用性,坦白说,这也许对试点项目.非常规项目.要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能.可用

刘金鸽:成立优化团队的绝佳方案

中介交易 SEO诊断 淘宝客 云主机 技术大厅 当我写这篇文章的时间,我也有这个念头成立一个属于自己的网站优化团队,然后自己去花费所有的经历去经营这个优化团队.其实说真的我以前也曾经成立过这样的一个团队,可能就是因为自己在做这个团队之前没有一个成功的团队策划方案,最后才导致了这个团队没有接单子,最后就不欢而散了,所以通过那次的失败我总结了要想做成功这个优化的团队,那就要注意几点: 第一点.网站程序 我为什么要把这个放到第一位呢?我想我不用说大家也都知道是什么原因,因为他是整个团队的核心组成部分.

namenode-重新启动hadoop失败 webapps/hdfs not found in CLASSPATH

问题描述 重新启动hadoop失败 webapps/hdfs not found in CLASSPATH 最近需要在16节点配置hbase 环境:hadoop2.6+zookeeper3.4.6+hbase0.98.9 ubuntu12.04 server 64bit jdk 1.8.0_11 hadoop 配置的1个namenode和15个datanode zookeeper配置的3台 hbase一个Hmaster15个HRegion 开始时配置没问题,在hbase上跑东西也没问题 需要改变

详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS.MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心. 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS.MapReduce.Hbase.Hive是如何运行,以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现.如有不足,后续及时修改. HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过M

Hadoop分布式文件系统HDFS的工作原理详述

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统.HDFS是一个高度容错性的系统,适合部署在廉价的机器上.它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用.要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统. 1.分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统. 分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储.换句话说,它们是横跨在多台计算机上的存

Java访问Hadoop分布式文件系统HDFS的配置说明_java

配置文件 m103替换为hdfs服务地址. 要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建.读取. <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <co

Mac 应用程序开发的绝佳起点

  你是否想要开发 Mac 应用程序却又不知道从哪里入手?本路线图提供了 Mac 应用程序开发的绝佳起点,即使你已经是一个 iOS 开发专家,本路线图对你依然适用.Apple让开发应用程序和提交应用程序到 Mac App Store 变得简单.遵循本路线图以了解如何取得开发工具,理解主要概念及最佳实践,并学会查找更多信息.   继续遵循此路线图,你将使用到 Xcode(Apple 提供的集成开发工具)来开发 Mac 应用程序.你将了解 Objective-C(驱动所有Mac应用程序和框架的程序设

Web Apps的绝佳案例:Web Apps的特性

文章描述:Google Web App开发指南第一章:什么是Web Apps? 很多人向我问起学习HTML5技术的权威入门资料,我总是毫不犹豫地推荐由Google推出的HTML5rocks,这个网站就像一个宝库,包含经典的教程.文章.Demo和代码.近日 Chrome小组又推出了一个很酷的Web App电子书,讲述了Chrome开发人员对Web Apps的思考和最佳实践,推荐每个关注Web Apps的开发者阅读.Web AppTrend为方便国内开发者浏览,将全文进行翻译. 注:这本书就是一个W

思科创新峰会2017以技术为桥 迎接全数字化转型绝佳时机

017年3月24日,以"数字变革 创领世界"为主题的思科创新峰会2017在北京召开.开会的那天早晨,北京下起了绵绵春雨,"晓看红湿处,花重锦官城"的意境特别美.在思科创新峰会2017的主会场外,是思科技术团队和行业合作伙伴搭建的展厅,除了思科最前沿的技术展示之外,还有行业应用场景的再现,每一个展台前皆摩肩接踵人声鼎沸,如此热烈的讨论氛围,也很美. 思科创新峰会2017诚意十足,今年主题演讲囊括全数字化网络架构.数据中心.云.安全.协作.未来企业IT等众多方面,深入探