问题描述
求技术大神、Hadoop大牛:使用Cloudera5.2安装了Hadoop平台,共15个节点,在同个私网,千兆带宽,目前数据量约为80T左右,但最近使用hdfsfsck/检测数据块的完整情况时,发现副本的平均数量不够3份,只有2.3而已。每天使用hdfsfsck/指令查看,平均的副本数量会略有增加,但进展非常慢,到现在有一个月了,还是停留在2.3的阶段,每天的进展非常慢。但整个集群的检查又是“健康”的,目前主要是副本数不够,不知怎么破,如下图而调整了CDH的NameNode,Yarn,DataNode的资源配置,增大了内存、带宽等相关的参数,似乎没有起到什么作用。查看了CDH的首页,IO并没有明显地提升,不像是在快速地拷贝复制数据块。如果是数据量大的原因,那IO应该很高才是,很疑惑这个问题困扰了我们很久,一直找不出是什么原因和解决办法,不知各位有没有碰到过类似的情况,特来求救各路大神,还望指点迷津啊
解决方案
解决方案二:
来支持了呢。
时间: 2024-11-01 13:09:10