问题描述
我的Hadoop集群配置如下:master:机子性能非常好,内存8G,硬盘1T以上4个slaves:全是差机子,内存只有2G,真正剩余的只有1G左右,硬盘500G主要看内存,master和slaves差别有点大,不知道这样的配置是不是非常不好,因为我实际测试起来效果不太理想,经常还出现“outofmemory”的错误,我想问的是slave机子的性能需要和master一样好吗?master负责调度、资源分配等任务,需要好性能,而slaves只是负责执行程序,只要内存够执行程序应该就没问题吧?另外,我想让master也作为一个slave执行程序好不好呢(充分利用master机子的性能)。Hadoop初学者,诸多疑问,还请谅解。
解决方案
解决方案二:
解决方案三:
干活的是slave,master只是调度,个人感觉配置应该反过来
解决方案四:
解决方案五:
关注下hadoop的各种角色,应该就明白了比如namenode,resourceManager,datanode等.
时间: 2024-11-01 02:52:30