求大神!!使用Cloudera安装Hadoop,数据块自动检测与复制非常慢,平均副本不够3份,怎么破

问题描述

求技术大神、Hadoop大牛:使用Cloudera5.2安装了Hadoop平台,共15个节点,在同个私网,千兆带宽,目前数据量约为80T左右,但最近使用hdfsfsck/检测数据块的完整情况时,发现副本的平均数量不够3份,只有2.3而已。每天使用hdfsfsck/指令查看,平均的副本数量会略有增加,但进展非常慢,到现在有一个月了,还是停留在2.3的阶段,每天的进展非常慢。但整个集群的检查又是“健康”的,目前主要是副本数不够,不知怎么破,如下图而调整了CDH的NameNode,Yarn,DataNode的资源配置,增大了内存、带宽等相关的参数,似乎没有起到什么作用。查看了CDH的首页,IO并没有明显地提升,不像是在快速地拷贝复制数据块。如果是数据量大的原因,那IO应该很高才是,很疑惑这个问题困扰了我们很久,一直找不出是什么原因和解决办法,不知各位有没有碰到过类似的情况,特来求救各路大神,还望指点迷津啊

解决方案

解决方案二:
来支持了呢。

时间: 2024-11-01 13:09:10

求大神!!使用Cloudera安装Hadoop,数据块自动检测与复制非常慢,平均副本不够3份,怎么破的相关文章

求大神关于jmf安装问题

问题描述 在官网下载的,一打开这个文件,就提示一个overwriteprotection窗口,说我Appdata>Local>Temp中的文件是否覆盖,不管选yes还是no都不安装,删掉以后,还是不能安装,之后那些文件又出现了,有知道的朋友,求解 解决方案 解决方案二:没人吗???解决方案三:求大神啊啊啊啊,没人啊啊啊啊

求大神-Unix或者Linux备份数据到U盘

问题描述 Unix或者Linux备份数据到U盘 Unix和Linux系统中备份数据到U盘,会先格式化U盘再备份数据吗,备份出来的数据能够在普通的电脑上直接读取吗? 解决方案 看什么发行版.像Ubuntu支持U盘通常所用的FAT32和FAT32EX分区,那么无需重新格式化,也可以在Win98以上的系统读取. 解决方案二: 那些罕见的精简的发行版就不好说了,它们甚至可能连中文文件名都不支持. 但是可以肯定,MacOSX.Ubuntu.CentOS.手机上用的Android都没问题. 解决方案三: U

求大神解答?openstack 安装问题

问题描述 如图,用命令novaimage-list时出现http400错误,图是调试的输出 解决方案 解决方案二:susesp2:~/key#novaimage-listERROR:n/a(HTTP400)解决方法:susesp2:~#zyppersearchnova-apiLoadingrepositorydata-Readinginstalledpackages-S|Name|Summary|Type–+------–+----------–+--–|openstack-nova-api|O

win7 下运行hadoop的workcount卡在了map0% reduce0% 求大神指教

问题描述 win7 下运行hadoop的workcount卡在了map0% reduce0% 求大神指教 刚刚安装好Hadoop 就想用自带的WORDCOUNT这个程序检验一下好不好使就卡主了 求大神帮忙 愁了一个星期了 拜托拜托 解决方案 估计要使用64位的native-hadoop lib?

出错-我是新手 在linux 下 安装了 tomcat7 可启动不了啊 求大神指教

问题描述 我是新手 在linux 下 安装了 tomcat7 可启动不了啊 求大神指教 我安装完 tomcat 后在 执行 sh startup.sh 出现: /usr/local/soft/tomcat7/bin/catalina.sh: line 549: syntax error: unexpected end of file 我jdk 已经正确安装 能编码 和执行 java 文件 看网上帖子 我在 tomcat/bin/catalina.sh 中 添加了 export CATALINA_

大数据-orcale大量数据分组查询报错求大神指点

问题描述 orcale大量数据分组查询报错求大神指点 对一个表数据进行分组查询,但是数据量太大了,当时是3000w条,跑着就报错了,数据库内部错误,也不是很懂.想请教下group by的时候是否数据量太多会报错,如果是它可以承受多大的数据量分组查询. 解决方案 肯定会报错,数据量大就会请求超时 解决方案二: 建议使用索引,给需要分组的字段加索引 解决方案三: 你可以试试根据你当前数据库的配置情况,进行分组查询的时候,使用多线程的方式进行查询 例如: select /*+ parallel(t,1

lamp-编译安装mysql出现问题,求大神指点

问题描述 编译安装mysql出现问题,求大神指点 编译安装MySQL时出现如下问题 自己是wins64 位的系统的VMware虚拟机中安装mysql版本是 mysql-5.5.28-linux2.6-x86_64.tar.gz mysql用户和mysql权限属主属组都修改成mysql.mysql了执行scripts/mysql_install_db 出现问题: [root@localhost mysql]# scripts/mysql_install_db --user=mysql --data

redhat4-跪求大神指导:RedHat4 安装vsftpd

问题描述 跪求大神指导:RedHat4 安装vsftpd 跪求大神指导:RedHat4 安装vsftpd 我在电脑的虚拟机里安装了RedHat4 但是没有装vsftpd 求大神指导如何安装

plsql安装求大神们指教

问题描述 plsql安装求大神们指教 安装都是需要装什么,配置什么,最好装的东西越少越好,谢谢,本人初学者,所以越详细越好 解决方案 我有图解文档,可以发给你.邮箱给我 解决方案二: 直接安装就好了啊.没那么难啊 解决方案三: 打开安装程序,按照步骤来就可以了,还有就是用的时候要启动服务 解决方案四: PlSql安装图解 解决方案五: "set_up"应该就行了