Could not obtain block blk_XXX_YYY from any node:java.io.IOException:No live nodes contain current block

错误:

    10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new block locations from namenode and retry

原因:

    Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers。如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误

解决方法:

    在conf/hdfs-site.xml里面的添加如下配置

    <property>

        <name>dfs.datanode.max.xcievers</name>

        <value>4096</value>

        <dedication> Datanode 有一个同时处理文件的上限,至少要有4096</dedication>

    </property>

时间: 2025-01-07 18:42:45

Could not obtain block blk_XXX_YYY from any node:java.io.IOException:No live nodes contain current block的相关文章

[解决]java.io.IOException: Cannot obtain block length for LocatedBlock

在hadoop测试集群运行job的过程中发现部分运行失败,有Cannot obtain block length for LocatedBlock,使用hdfs dfs -cat ${文件}的时候也报这个错,看过代码后发现是文件未被正常关闭(flume传到hdfs上的,可能由于Namenode长时间gc或者切换或者重启会留下很多.tmp结尾的文件),为此,使用hadoop命令显示处于打开状态的文件,然后删除这些文件: hadoop fsck / -openforwrite | egrep -v

Node.js+Socket.IO实现的WebSocket群聊天室源码

首先上图上实例 聊天室地址:http://chat.52itstyle.com WebSocket简介 谈到Web实时推送,就不得不说WebSocket.在WebSocket出现之前,很多网站为了实现实时推送技术,通常采用的方案是轮询 (Polling)和Comet技术,Comet又可细分为两种实现方式,一种是长轮询机制,一种称为流技术,这两种方式实际上是对轮询技术的改进,这些 方案带来很明显的缺点,需要由浏览器对服务器发出HTTP request,大量消耗服务器带宽和资源.面对这种状况,HTM

基于NodeJS的前后端分离的思考与实践(六)Nginx + Node.js + Java 的软件栈部署实践_node.js

淘宝网线上应用的传统软件栈结构为 Nginx + Velocity + Java,即: 在这个体系中,Nginx 将请求转发给 Java 应用,后者处理完事务,再将数据用 Velocity 模板渲染成最终的页面. 引入 Node.js 之后,我们势必要面临以下几个问题: 技术栈的拓扑结构该如何设计,部署方式该如何选择,才算是科学合理?项目完成后,该如何切分流量,对运维来说才算是方便快捷?遇到线上的问题,如何最快地解除险情,避免更大的损失?如何确保应用的健康情况,在负载均衡调度的层面加以管理?承系

Web服务性能测试:Node完胜Java

简介 我最近做了一些简单的关于内存的Web Service性能测试.我使用Java(REST + SOAP)和Node.js(REST)将一些接口功能缓存起来.跟期望的一样,Node应用的性能远远超出Java.(响应时间至少快1倍以上). 译者注*  NodeJS跟许多其他单线程语言一样,对内存并不贪婪,因为没有关于线程的内存开销,内存占用不会随着连接数的增长而增长,尤其在剔除掉读写文件/数 据库等异步操作后,完全基于内存的NodeJS将有更显著的性能提升,从某种意义上来说基于内存的nodejs

深入浅出node.js游戏服务器开发:基于Pomelo的MMO RPG开发

在上一篇文章中,我们介绍了如何使用Pomelo来搭建聊天服务器.在这篇文章中,我们为大家介绍 如何使用Pomelo框架来搭建MMO RPG服务器,并分析其设计思路和实现方法.以此来帮助大家更好的理 解和使用Pomelo框架,理解Pomelo框架游戏开发的基础流程,使用方法和设计理念. 本文中的游戏服务端架构,只是为了说明Pomelo的开发理念和设计思路,并不是基于Pomelo开发的 唯一方案,开发者完全可以根据自己的实际应用环境设计不同的服务端架构. 开始之前 Pomelo框架与MMO RPG

《深入浅出Node.js》作者分享:Node.js应用性能监控与问题诊断

直播回顾视频:https://yq.aliyun.com/edu/lesson/play/333 以下内容是根据直播和PPT整理. Node.js的优势与劣势 Node.js是基于JavaScript编写而成的强大的Web开发框架,它易于上手.入门简单:同时ECMAScript新规范.特性更新活跃,按年为单位进行更新.得益于弱类型语言的特性,Node.js的开发效率奇高,通过使用事件驱动.非阻塞式 I/O 的模型,使其轻量又高效.Node.js特别适合于web应用或API服务器,例如手机上的AP

PRVF-5636 : The DNS response time for an unreachable node exceeded &amp;quot;15000&amp;quot; ms on following nodes

In this Document   Purpose   Details   References This document is being delivered to you via Oracle Support's Rapid Visibility (RaV) process and therefore has not been subject to an independent technical review. APPLIES TO: Oracle Server - Enterpris

10个最佳Node.js企业应用案例:从Uber到LinkedIn

Node.js 8已经发布了,NPM模块每周下载量早已超过10亿,从Uber到LinkedIn都在使用Node.js,谁说JavaScript不能写后台? 1.Uber 在过去的两年里,Uber的规模每半年就会翻倍.Node.js之所以被选中,正是由于它强大的数据处理能力. Uber需要为用户和司机提供可靠的服务,因此用车需求增加时,需要扩展服务,这是另外一个考虑因素.根据How Uber Uses Node.js to Scale Their Business,Uber选择Node.js的原因

node中socket.io的事件使用详解_node.js

socket.io类库不但可以相互发送消息,而且还可以通过socket端口对象的emit方法互相发送事件. emit在之前的事件上说过现在一句话带过:emit是用来手动触发事件的. 复制代码 代码如下: socket.emit(event,data,function(data1,data2......){ }); 在使用emit方法发送事件时,可以再另一端使用socket端口对象的on方法会once方法监听. 复制代码 代码如下: socket.on(event,function(data,fn