Hadoop的基本构造块概述

Hadoop整体架构是 分布式的主/从架构,由一组守护进程和一组宿主程序组成,守护进程有:NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker

其中NameNode,DataNode,Secondary NameNode被划分为 存储进程类,而JobTracker和TaskTracker被划分为计算进程类。

正如如下图所示:

NameNode:

NameNode是Hadoop分布式存储系统(HDFS)的主节点(master node),它自己不参与I/O任务,而是把这些任务交给它所管理的DataNode去完成。NameNode将文件系统的元数据都存储于内存中。

DataNode:

DataNode是Hadoop分布式存储系统(HDFS)的从节点(slave node),他们负责实际读写HDFS块的任务(一个大文件会被分为多个HDFS block),并持续将状态报告给NameNode.

NameNode和DataNode关系如下图:

Secondary NameNode:

Secondary NameNode 是集群中用来监控HDFS 集群状态的一个辅助进程。它也和NameNode不一样的是它不接受和记录HDFS的任何实时改变。相反,它只和NameNode打交道,并且定期收集HDFS 状态的快照(snapshot) ,它主要用于当NameNode出故障时的恢复工作。

Job Tracker:

Job Tracker是我们应用程序和Hadoop的联系人,当我们提交代码到Hadoop 集群时,它会确定执行计划,包括决定处理哪些文件,为每个节点分配不同的任务(实际上是分配给Task Tracker,然后转交),并且监控所有运行的任务。这个进程一般运行在集群的主节点上。

时间: 2024-08-30 20:10:09

Hadoop的基本构造块概述的相关文章

javaee-java中构造块和成员变量的执行顺序是依据什么机制?

问题描述 java中构造块和成员变量的执行顺序是依据什么机制? 代码的执行不是应该和写的顺序无关吗 但是为什么构造块和成员变量的顺序不一样,执行的结果也不一样呢??? 求大神解答 解决方案 你的理解是有误的,成员变量的初始化值跟代码顺序有一定关系的.java创建对象时,对实例变量即类的非静态成员的初始化,主要在三个地方 1 成员变量定义时指定初始值 2 非静态代码块中指定初始值 3 构造函数中对成员变量指定初值值 这三种方式1,2执行先于构造函数3的执行,但是1,2方式的执行顺序与源程序中的排列

Help!!关于java构造块问题

问题描述 Help!!关于java构造块问题 public class Test{ public int i=print("why"); { print("构造块"); } private static int print(String str){ System.out.println(str); } } 为什么每次实例化对象时,调用构造块的同时也会调用构造块前面的那个赋值语句? 解决方案 首先 private static int print(String str

java中的构造块、静态块等说明

一:这篇博客写的时候我在学校已经一个星期了,为什么又会想到写这le,因为这几天又在重新学下有关spring.myBatis的知识,其中在实例化sessionFactory的时候用到了静态块,虽然在学习Hibernate时也用到过,那时候没现在想的深入.所以就回过头来记载下吧. 最近自己突然觉得做网页好没意思啊,强烈的感觉啊,现在觉得去学习android和ios很好,因为觉得做网页都是那几个框架,一成不变啊,写来写去都是这么做.看来自己在程序这方面做不久啊. 二:先说说静态块: static{ S

Angular 2应用的8个主要构造块有哪些_AngularJS

前面的话:最近空余时间在学 Angular 2,国庆节的时候看了官网的quickstart,还写了一篇文章,只是一个hello world demo.后面继续看了它的一个项目教程,刚开始还可以跟上,当后面就比较混乱了.的确,对于新手来讲,要了解一个框架还是比较麻烦的.所以停止项目,开始看看 angular 的整体框架是如何的,联系项目,分析下,慢慢来. 学习链接:中文官网 正文开始: angular 应用:用带 angular 拓展语法的 HTML 写模板,用组件类管理这些模板,用服务添加应用逻

hadoop之HDFS:数据块恢复与文件上传测试

问题导读 1.块恢复操作主要受哪些影响? 2.数据块恢复测试场景需要什么? 3.通过对Client与DataNode通信性能分析,读写小文件和性能有什么关系? 1.数据块恢复 &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   当某台机器上的一个DataNode进程down掉,HDFS为了保证文件的副本满足设定的副本数,会进行数据块的恢复操作.块恢复操作主要受两个参数影响:     a)dfs.namenode.

Data Access Application Block 概述

access|application Microsoft Application Blocks for .NETData Access Application Block 概述Chris Brooks.Graeme Malcolm.Alex Mackman.Edward JezierskiMicrosoft Corporation 2002 年 4 月 摘要:Data Access Application Block 是一个 .NET 组件,包含优化的数据访问代码,可以帮助用户调用存储过程以及向

高可用Hadoop平台-答疑篇

1.概述 这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑.最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何去寻求解决方案? 针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行业的同学做个参考. 2.我学 Hadoop 后能从事什么岗位 目前 Hadoop 相关的工作大致分为三类:应用,运维,二次开发 2.1 应用 这方面的主要工作是编写MapReduce作业,利用Hive之类的套件来进

UML概述

                  刚刚开始学习UML,看了看概述,觉得这好像是真的要进入面向对象的学习了.       在学习UML之前,要先问自己这样3个问题:1,为什么要建模?2,什么是建模?3,什么是可视化的建模?感觉在学习UML之前搞清楚这3个问题还是很有必要的.        通过以前的学习,我们知道:同类事物,当它大小不同时,处理方法也不同.例如,在开发一个软件时,我们取两种极限,极大和极小的时候,如果软件非常小,那么,我们这时候很多工作是可以省略的,开发起来是非常简单的,因为太小

UML之概述

          UML,英文名曰:Unified  Modeling Language,她还有个中文名字叫统一建模语言,简单的来说,她就是一种绘制软件蓝图的标准语言.她的表达能力特别强,可以描述开发所需要的各种视图,然后以此为基础来部署系统.         UML是软件开发方法的一走很难过方法,她独立于过程,她用于以用况为驱动.以体系结构为中心.迭代和增量的过程.总的来说,UML是一种语言,一种用于可视化的语言,一种用于详细描述的语言,一种用于构造的语言,一种用于文档化的语言.她为何如此厉