eclipse连接远程hadoop集群开发时报错

eclipse连接远程hadoop集群开发时报错

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=d, access=WRITE, inode="data":zxg:supergroup:rwxr-xr-x

 at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:207)

当前登录windows的用户名和hadoop集群的用户名不一致,将没有权限访问

解决方案(经笔者在hadoop1.2.0+jdk1.7下验证通过):

 

管理DFS system目录。目前做法是将hadoop服务集群关闭权限认证,修改hadoop安装集群master的hadoop-1.2.0/conf/mapred-site.xml,增加:

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

正式发布时,可以在服务器创建一个和hadoop集群用户名一致的用户,即可不用修改master的permissions策略。

时间: 2024-10-03 20:32:47

eclipse连接远程hadoop集群开发时报错的相关文章

关于eclipse中运行mapreduce不是在hadoop集群环境运行而是在本地运行的问题

问题描述 关于eclipse中运行mapreduce不是在hadoop集群环境运行而是在本地运行的问题 1.我用eclipse远程连接linux上的hadoop集群,跑Mapreduce程序都可以顺利完成,结果在集群里也可以看得到. 但是,跑程序的时候,我去集群上Jps没有我正在跑的程序 而且,我到job的web界面下,也没有我的MapReduce任务记录... 是不是eclipse其实在本地跑的,没有在集群中跑,我无法想明白,还请指教 解决方案 你远程的意思指的什么,是从windows下远程连

window下myeclipse的插件连接linux的hadoop集群

问题描述 window下myeclipse的插件连接linux的hadoop集群 解决方案 MyEclipse 配置 Hadoop 插件hadoop-1.2.1 win7 myeclipse 插件编译windows/ Linux下 myeclipse和eclipse下安装配置hadoop插件 解决方案二: http://www.silverlightchina.net/html/windows8/study/2013/0203/21803.html

window下连接hadoop集群报错

问题描述 window下连接hadoop集群报错 window下连接hadoop集群报错,已经把hadoop.dll放在window下的hadoop的bin目录了,system32也放了,还是无效,请问怎么办?? 解决方案 这是异常了吧,调用有问题.对应hadoop安装好了没 解决方案二: http://www.cnblogs.com/heyonggang/archive/2012/12/21/2827838.html 解决方案三: window下连接hadoop集群基础超详细版Window下使

平台-关于hadoop的集群开发环境配置

问题描述 关于hadoop的集群开发环境配置 各位前辈好!最近遇到了点疑问,hadoop的集群配置的主节点是要搭在服务器上吗?我们老师要我们做一个项目,需要配置hadoop平台,什么也不懂,所以来这里请教大家== 解决方案 http://blog.csdn.net/flyqwang/article/details/7244552/http://www.51document.com/1365084386796.htmlhttp://www.open-open.com/lib/view/132853

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

25.集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager 25.1.2服务器准备 本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本: ü Vmware 11.

hadoop 集群常见错误解决办法

hadoop 集群常见错误解决办法: (一)启动hadoop集群时易出现的错误: 1.   错误现象:java.net.NoRouteToHostException: No route to host.    原因:master服务器上的防火墙没有关闭.    解决方法: 在master上关闭防火墙: chkconfig iptables off. 2.    错误现象:org.apache.hadoop.ipc.RPC: Server at JMN/10.22.1.203:9000 not a

Linux服务器下搭建hadoop集群环境 redhat5/Ubuntu 12.04

Ubuntu 12.04 下搭建 hadoop 集群环境步骤 一. 搭建环境前的准备: 我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.linuxidc.com/Linux/2013-01/78112.htm 还在KVM中虚拟了4台机子,分别起名为: son-1        (ubuntu 12.04 32bit),son-2        (ubuntu 12.04 32bit),son-3        (

《Hadoop集群与安全》一1.1 选择Hadoop集群硬件

1.1 选择Hadoop集群硬件 Hadoop是可扩展的集群,它采用非共享系统处理大规模并行数据.Hadoop的总体概念是单个节点对于整个集群的稳定性和性能来说并不重要.根据这种设计理念,我们可以在单个节点上选择能够高效处理少量(相对于整体的数据量大小)数据的硬件并且在硬件层面也无需过分追求稳定性和冗余性.读者可能已经知道,Hadoop集群由多种类型的服务器所组成.它们中有主节点,比如NameNode.备份NameNode以及JobTracker,还有称为DataNode的工作节点.除了核心的H

一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)

1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构.  注意:HADOOP的核心组件有: 1)HDFS(分布式文件系统) 2)YARN(运算资源调度系统) 3)MAPREDUCE(分布式运算编程框架)       Hadoop 中的分布式文件系统 HDFS 由一个管理结点 ( NameNode