hadoop eclipse 插件配置使用

第一次使用hadoop,另外eclipse也不太熟悉,现在把自己在安装过程中得琐碎问题记录下来。

eclipse版本:eclipse-jee-indigo-SR2-linux-gtk.tar.gz

hadoop版本:hadoop-0.20.203.0

本文前提是,你已经正确安装了hadoop-0.20.203.0,hadoop伪分布模式的安装过程网上有很多。

eclipse下载解压后,直接点击eclipse图标打开即可(很绿色环保~~)

1.插件安装

        在$HADOOP_HOME/contrib/eclipse-plugin/文件夹中有个hadoop-eclipse-plugin-0.20.203.0.jar,把这个文件复制到eclipse/plugins(这是eclipse的插件目录)下面即可。

注意在直接复制时会出错,主要是缺少jar包。

解决方法:(1)将commons-httpclient-3.0.1.jar,jackson-core-asl-1.0.1.jar,jackson-mapper-asl-1.0.1.jar,commons-configuration-1.6.jar,lcommons-lang-2.4.jar(这几个jar包在$HADOOP_HOME/lib/下找到)放入hadoop-0.20.203.0-eclipse-plugin的lib下

                   (2)修改hadoop-0.20.203.0-eclipse-plugin/META-INF/MANIFEST.MF 中的Bundle-ClassPath项


1

Bundle-ClassPath:
classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

2.环境配置

  启动Eclipse,然后在Window->Preferences->Hadoop Map/Reduce中添加Hadoop的安装目录

配置hadoop环境:在Window–>Show View中打开Map/Reduce Locations,在底部会看到新的选项。然后右键–>New Hadoop Location,

Location name是你自己取的名字,我这里用了hadoop,Map/Reduce Master这里的host和port对应上面mapred-site.xml中mapred.job.tracker的值,我配置的是localhost和9001;DFS Master对应上面core-site.xml中fs.default.name中的值,我配置的是localhost和9000.

完成后,如果屏幕左上方的DFS Locations中的内容可以正常显示,说明配置一切成功。

3.运行wordcount

使用Eclipse编写Hadoop的程序了,按该方式创建File->New->Project->Map/Reduce Project.命名为hadoop-test。

将hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples下的wordcount.java复制到当前项目中。

注意:要在src中看到WordCount.java文件,如果已经复制过来还看不到,在hadoop-test上右击选择refresh试一试。

另外,直接复制过来的文件,第一行要注释掉     //package org.apache.hadoop.examples;

在Run configuration/Java Application/WordCount下进行程序参数设置

input为又本地导入HDFS得输入文件,其中包含两个文本文件,file01和file02

完成后,使用 Run As/Run on Hadoop运行~~~~

在HDFS系统视图下可以看到刚才得运行结果

中途碰到得问题:装得时候不知道怎么回事,项目侧边栏(Project explorer)看不见了。或者侧边栏是Package explorer,这种情况下是看不见DFS Locations的,应该在菜单栏

时间: 2024-10-29 13:23:02

hadoop eclipse 插件配置使用的相关文章

Eclipse插件功能研究

在整个 Java 开发人员社区,Eclipse 因为行业领先的 Java Development Tools (JDT) 而广为人知.但 Eclipse 构建目的在于促进插件的使用,而且在这一方面,它获得了惊人的成功.探索已经构建到 Eclipse 插件中的一些能力,比如使用 Ruby 等其他语言编程,或者是使用 OpenLaszlo 等环境构建交互式多媒体. 简介 越来越多的 Java 开发人员已经开始欣赏 Eclipse 的 JDT 提供的生产率和质量收益.Eclipse 对编写 Java

编译hadoop eclipse的插件(hadoop1.0)

在hadoop-1.0中,不像0.20.2版本,有现成的eclipse-plugin源码包,而是在HADOOP_HOME/src /contrib/eclipse-plugin目录下放置了eclipse插件的源码,这篇文章 ,我想详细记录一下自己是如何编译此源码生成适用于Hadoop1.0的eclipse插件 1.安装环境 操作系统:Ubuntu14.4 软件: eclipse java Hadoop 1.0 2.编译步骤 (1)首先下载ant与ivy的安装包 将安装包解压缩到指定的目录,然后将

Eclipse插件的安装与配置

安装时有些小问题值得注意: 1.下载时注意Eclipse和Lomboz版本号很重要 一般来说相同版本号的才比较兼容. 即:2.0的Eclipse对应插件就装2.0的Lomboz:Eclipse3.01就对应装插件lomboz.301,这样不容易出错,下载时最好认真看清楚网站上的说明,否则有时安装总出现莫名其妙的问题,浪费时间. 2.安装Lomboz需要gef和emf插件的支持,所以光下载安装 Eclipse3.01,和lomboz.301.zip还不够,必须下载以下四个插件: Eclipse3.

Eclipse,tomcat插件配置后,tomcat启动不了

问题描述 Eclipse,tomcat插件配置后,tomcat启动不了,提示说我出现2009-10-178:36:23org.apache.catalina.startup.Bootstrapmain警告:Bootstrap:command"E:Tomcat6.0confserver.xml"doesnotexist.这个错误..但是我在配置Tomcat插件的时候,tomcathome位置也选定了,而且contextdeclarationmode选的也是server.xml啊,我真的又

eclipse插件-关于hadoop的配置问题

问题描述 关于hadoop的配置问题 如何配置hadoop2.7.1及winutil.exe, 急急急急急急急急急急急急急 解决方案 撒阿德阿德啊大的啊DFEW AFEWA 解决方案二: Hadoop集群配置方法见:Hadoop集群配置(最全面总结) Hadoop启动后使用JPS查看进程情况,发现没有namenode,找了半天原因,最后发现可能有这么几个: ??1.在 HADOOP_HOME/conf/ hadoop-env.sh 里面,要把export HADOOP_PID_DIR=/var/

eclipse插件-eclipse已经配置好了ADT跟SDK,怎么还是不能创建安卓文档?如图

问题描述 eclipse已经配置好了ADT跟SDK,怎么还是不能创建安卓文档?如图 解决方案 http://www.cnblogs.com/tonytonglx/articles/2161799.html

Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)

一.引言: 最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家. 二.插件编译 Hadoop2x版本的Eclipse插件已经单独抽取成独立的开源项目,区别于之前版本直接集成到Hadoop1.x版本的模式,需要单独下载,下载网址:https://github.com/winghc/hadoop2x-eclipse-plugin 2.1 源码编译 hadoop2x-eclipse-plugin =====================

Windows下Hadoop eclipse开发平台搭建

Hadoop 在Windows环境下的搭建教程 搞了一个下午,在Linux和Windows下都成功了,步骤相差不大.一些小问题,google一下就能解决.但还是推荐在linux下搭建,很容易切稳定. 1.必要条件 Cygwin :我的版本是目前最新的2.774 java JDK hadoop 0.20.2 迅雷连接(有可能已经失效):thunder://QUFodHRwOi8vZGwuY3IxNzMuY29tLy9zb2Z0My9oYWRvb3AuemlwWlo= eclipse   2. ja

《阿里巴巴Java开发手册》IDEA插件与Eclipse插件使用指南

首先非常感谢大家对插件的支持与意见,这里详细介绍一下<阿里巴巴Java开发手册>IDEA插件与Eclipse插件的安装使用. 关于规约插件的背景介绍,可见上篇文章:提升团队研发效能利器,<阿里巴巴Java开发手册>插件全球首发(附插件下载地址) 一.阿里巴巴Java开发手册IDEA插件使用指南 通过Jetbrains官方仓库安装 1. 打开 Settings >> Plugins >> Browse repositories... 2. 在搜索框输入alib