Hadoop中master和slave机器性能差异怎么分配好,master需要好性能或说slave可以差一点?

问题描述

我的Hadoop集群配置如下:master:机子性能非常好,内存8G,硬盘1T以上4个slaves:全是差机子,内存只有2G,真正剩余的只有1G左右,硬盘500G主要看内存,master和slaves差别有点大,不知道这样的配置是不是非常不好,因为我实际测试起来效果不太理想,经常还出现“outofmemory”的错误,我想问的是slave机子的性能需要和master一样好吗?master负责调度、资源分配等任务,需要好性能,而slaves只是负责执行程序,只要内存够执行程序应该就没问题吧?另外,我想让master也作为一个slave执行程序好不好呢(充分利用master机子的性能)。Hadoop初学者,诸多疑问,还请谅解。

解决方案

解决方案二:

解决方案三:
干活的是slave,master只是调度,个人感觉配置应该反过来
解决方案四:

解决方案五:
关注下hadoop的各种角色,应该就明白了比如namenode,resourceManager,datanode等.

时间: 2024-11-01 02:52:30

Hadoop中master和slave机器性能差异怎么分配好,master需要好性能或说slave可以差一点?的相关文章

Hadoop中的集群配置和使用技巧

其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天.Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可.这里主要重点说一下集群配置运行的过程. 环境 7台普通的机器,操作系统都是Linux.内存和CPU就不说了,反正Hadoop一大特点就是机器在多不在精.JDK必须是1.5以上的,这个切记.7台机器的机器名务必不同,后续会谈

hadoop中的pi值计算

  注意在hadoop中,操作一定要规范.不规范的操作引起exception满天飞······· 其实hadoop中的pi值运算还是挺简单的.在这里主要讲一下这个例子中要注意的地方: [hadoop@master hadoop-1.0.3]$ hadoop jar hadoop-examples-1.0.3.jar pi 10 100 确保是在hadoop-1.0.3目录下,因为hadoop-examples-1.0.3.jar是在这个目录下的.如果在其他目录下运行,会出错,最后导致datano

在Hadoop中保护大数据安全的9个技巧

当企业转变为数据驱动的机器时,其潜力是巨大的:企业所拥有的数据可能成为获得竞争优势的关键.因此,企业的数据和基础设施的安全也变得比以往任何时候都重要. 在许多情况下,企业或组织都可能得到Forrester所说的"有毒的数据".例如,一家无线公司正在收集谁登录哪一个天线塔.他们在线逗留多长时间.他们使用多少数据.他们是在移动还是处于静止状态等数据,这些数据可用来了解用户行为的状况. 这家无线公司也许有许多用户生成的数据:信用卡号码.社会保险号码.购买习惯数据和用户使用任何信息的方式等.关

mysql redo/binlog 放在ssd盘或SAS盘性能差异测试

背景:写这篇博客主要原因是因为看到某司线上数据库都配置了SSD盘,但是他们却把redo文件放在普通SAS盘,看到这个忽然想到这配置SSD盘有什么作用呢?对数据库的性能到底是否有提升? 以下是我用sysbench测试的结果: ./sysbench --test=tests/db/update_non_index.lua --mysql-user=dbauser --mysql-password= --mysql-port=3307 --oltp-table-size=1000000 --oltp-

一个字节造成的巨大性能差异——SQL Server存储结构

今天同事问了我一个SQL的问题,关于SQL Server内部存储结构的,我觉得挺有意思,所以写下这篇博客讨论并归纳了一下.问题是这样的: 首先我们创建两张表,一张表的列长度是4039字节,另一张表的长度是4040字节,他们就只有一个字节的差距,比如以下创建表的SQL: CREATE TABLE tb4039(c1 INT IDENTITY,c2 char(4035) not null)CREATE TABLE tb4040(c1 INT IDENTITY,c2 char(4036) not nu

hadoop中使用lzo的压缩

在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行的被hadoop处理.这样的特点,就可以让lzo在hadoop上成为一种非常好用的压缩格式. lzo本身不是splitable的,所以当数据为text格式时,用lzo压缩出来的数据当做job的输入是一个文件作为一个map.但是 sequencefile本身是分块的,所以sequencefile格式的文件,再配上lzo的压缩格式,就可实现lzo

建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们

建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们 在本教程中,您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表.下列步骤描述:•如何使用提供在Azure门户的HBase的集群.•如何启用和使用RDP访问HBase的外壳,并使用HBase的外壳创建HBase的示例表,添加行,然后列出表中的行.•如何创建一个Hive表映射到一个现有的HBase的表,使用HiveQL查询数据在HBase的表.•如何使用Microsoft HBase的RES

剖析 epoll ET/LT 触发方式的性能差异误解(定性分析)

平时大家使用 epoll 时都知道其事件触发模式有默认的 level-trigger 模式和通过 EPOLLET 启用的 edge-trigger 模式两种.从 epoll 发展历史来看,它刚诞生时只有 edge-trigger 模式,后来因容易产生 race-cond 且不易被开发者理解,又增加了 level-trigger 模式并作为默认处理方式. 二者的差异在于 level-trigger 模式下只要某个 fd 处于 readable/writable 状态,无论什么时候进行 epoll_

在Apache Hadoop中使用Rhino项目进行数据加密

Cloudera最近发布了一条关于Rhino项目和Apache Hadoop中静态数据(data at-rest)加密的新闻.Rhino项目是由Cloudera.Intel和Hadoop社区合力打造的一个项目.这个项目旨在为数据保护提供一个全面的安全框架. Hadoop中的数据加密有两方面:静态数据,存在持久存储器上的数据,如硬盘;传输数据,数据从一个进程或系统传输到另一个进程或系统.大部分 Hadoop组件提供了对传输数据加密的功能,但是不支持对静态数据进行加密.安全监管机构,如HIPAA.P