【HBase】图解 HDFS 工作原理

微博上看到的一张关于HDFS的图片,形象生动的解释的HDFS的工作原理,再确切一点是 写操作的的基本过程:

1 一个集群中只有一个NameNode,可以有多个DataNodes

2  namenode 承担 数据的位置存储信息 ,并将存储位置信息告诉client端!

3 得到位置信息后,client端开始写数据

4 写数据的时候是将数据分块并存储为多份(一般为3份),放在不同的datanode 节点!

5 client 先将数据写到第一个节点,在第一个节点接收数据的同时,又将它所接收的数据推送到第二个,第二个推送到第三个节点,如果有多个节点,依次类推。。

6 从图中可以知道 NameNode 不参与 数据块的IO的!相当于mongodb 集群中的 mongos 和config 服务器的双重角色!

时间: 2024-09-14 14:56:26

【HBase】图解 HDFS 工作原理的相关文章

HADOOP1.X中HDFS工作原理

简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.是根据google发表的论文翻版的.论文为GFS(Google File System)Google 文件系统(中文,英文). HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复.默认存3份. ② 运行在廉价的机器上. ③ 适合大数据的处理.多大?多小?HDFS默认会将文件分割成block,64M为1个block,不足一64M的就以实际文件大小为block存在D

肖玉强:图解搜索引擎工作原理

  做SEO的,如果不懂搜索引擎的工作原理是很难恰当开展工作的.前几天给学生讲SEO课程中的搜索引擎工作原理时,很多同学表示不太懂.后来我画了搜索引擎主要工作流程的示意图给大家,很多同学表示"懂了". 我们先来看搜索引擎的主要工作:页面收录.页面分析.页面排序及关键字查询.搜索引擎的工作流程是:页面收录--页面分析--页面排序--关键字查询. 一.搜索引擎工作原理--页面收录   搜索引擎工作原理示意图--页面收录流程 页面收录的最终目的是将网站上的内容加入到URL列表,积累URL资源

太高科技了!图解谷歌眼镜工作原理

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   美国科技博客Gizmodo发布了一张图片,揭示了谷歌智能眼镜(Google Glass)的工作原理.简单地说,谷歌眼镜通过一个微型投影仪和半透明棱镜,将图像投射在人体视网膜上.镜架还嵌入了处理芯片和电池.   去年6月,谷歌在I/O 开发者大会上正式发布谷歌眼镜.这款产品采用虚拟现实技术,将图像直接投射在眼球上,可实现搜索.短信.拍照.摄像.社交分享等 众多功能

还不懂HDFS的工作原理?快来扫扫盲

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统.HDFS是一个高度容错性的系统,适合部署在廉价的 机器上.它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用.要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统. 1.分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统. 分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储.换句话说,它们是横跨在多台计算机上的

Hadoop分布式文件系统HDFS的工作原理详述

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统.HDFS是一个高度容错性的系统,适合部署在廉价的机器上.它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用.要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统. 1.分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统. 分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储.换句话说,它们是横跨在多台计算机上的存

listview的工作原理

       /**       * Unsorted views that can be used by the adapter as a convert view.       */       private ArrayList<View>[] mScrapViews;          private int mViewTypeCount;          private ArrayList<View> mCurrentScrap;          /**       

Android开发中通过源码彻底理解ListView工作原理【超详细】

ListView控件是Android应用开发中原生控件中最复杂,但是又相当的重要,当应用程序要处理很多内容而且屏幕无法公完全显示的时候,ListView就可以发挥其作用了,他可以滑动手指就能把超出屏幕的部分内容移动显示到屏幕中. ListView还有一个非常神奇的功能,即使在ListView中加载非常非常多的数据,比如达到成百上千条甚至更多,ListView都不会发生OOM或者崩溃,而且随着我们手指滑动来浏览更多数据时,程序所占用的内存竟然都不会跟着增长.那么ListView是怎么实现这么神奇的

Hadoop周边生态软件和简要工作原理(二)

Sqoop: sqoop在hadoop生态系统中也是应用率比较高的软件,主要是用来做ETL工具,由yadoo研发并提交给http://www.aliyun.com/zixun/aggregation/14417.html">Apache.Hadoop整个生态圈里面,大部分的应用都是Yadoo研发的,贡献非常大.Yahoo里面出来两拨人,分别组建了Cloudera和Hortonworks. 所谓ETL,就是数据的抽取(extract)加载(load)转换(transform).将一种格式或表

Ajax工作原理

在这篇文章中,我将从10个方面来对AJAX技术进行系统的讲解.  1.ajax技术的背景        不可否认,ajax技术的流行得益于google的大力推广,正是由于google earth.google suggest以及gmail等对ajax技术的广泛应用,催生了ajax的流行.而这也让微软感到无比的尴尬,因为早在97年,微软便已经发明了ajax中的关键技术,并且在99年IE5推出之时,它便开始支持XmlHttpRequest对象,并且微软之前已经开始在它的一些产品中应用ajax,比如说