在windows下开发、调试hadoop 2程序

一、winutils的windows版本

      GitHub上,有牛人提供了winutils的windows的版本,项目地址是:https://github.com/srccodes/hadoop-common-2.2.0-bin

      直接下载此项目的zip包,下载后是文件名是hadoop-common-2.2.0-bin-master.zip,解压到一个目录

二、配置环境变量

    配置环境变量:
    HADOOP_HOME, 值是hadoop-common-2.2.0-bin-master.zip解压后的目录,如D:\Program\hadoop-common-2.2.0-bin-master

   

三、验证

   利用hive JDBC执行show tables 

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class Demo {
	public final static String hiveJDBC = "jdbc:hive2://172.168.10.12:10000";

	public static void main(String[] args) throws Exception {
		Demo demo = new Demo();
		System.out.println("测试hive程序");
		demo.testHive();
	}

	public void testHive() throws Exception {
		Class.forName("org.apache.hive.jdbc.HiveDriver");
		//要带上这个用户名密码,就可以执行job任务,否则hive jdbc调用job会产生异常
		Connection conn = DriverManager.getConnection(hiveJDBC,"hive","hive");
		Statement stmt = conn.createStatement();
		ResultSet rs = stmt.executeQuery("show tables");
		while (rs.next()) {
			for (int i = 1; i < 2; i++) {
				System.out.print(rs.getString(i) + " ");
			}
			System.out.println();
		}
		free(conn, stmt, rs);
	}

	public static synchronized void free(Connection conn, Statement st,
			ResultSet rs) {
		if (rs != null) {
			try {
				rs.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
		if (st != null) {
			try {
				st.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
		if (conn != null)
			try {
				conn.close();
			} catch (SQLException e)

执行结果是:

测试hive程序
testtable
lzotable

不会再报

[2014-07-02 09:57:05,651][ERROR][org.apache.hadoop.util.Shell:336] - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:318)
at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:333)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:326)
at org.apache.hadoop.hive.conf.HiveConf$ConfVars.findHadoopBinary(HiveConf.java:924)
at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:230)
at org.apache.hive.jdbc.HiveConnection.isHttpTransportMode(HiveConnection.java:304)
at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:181)
at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:164)
at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
at java.sql.DriverManager.getConnection(DriverManager.java:571)
at java.sql.DriverManager.getConnection(DriverManager.java:215)
at impala.Demo.testHive(Demo.java:27)
at impala.Demo.main(Demo.java:19)
时间: 2024-09-29 13:35:39

在windows下开发、调试hadoop 2程序的相关文章

windows下eclipse调试hadoop详解

1)下载Eclipse http://www.eclipse.org/downloads/ Eclipse Standard 4.3.2 64位 2) 下载hadoop版本对应的eclipse插件 我的hadoop是1.0.4,因此下载hadoop-eclipse-plugin-1.0.4.jar 下载地址:http://download.csdn.net/detail/m_star_jy_sy/7376169 3)安装hadoop插件 将hadoop-eclipse-plugin-1.0.4.

.Net平台下开发中文语音应用程序

程序|中文 .Net平台下开发中文语音应用程序 -------------------------------------------------------------------------------- 摘要:语音是人类最自然的交互方式,也是现阶段软件用户界面发展的最高目标.微软公司一直积极推动语音技术的发展,并且公布了语音开发平台Speech SDK帮助开发人员实现语音应用.随着.net技术深入人心,越来越多的程序员开始转到.net平台上进行开发.然而,在新发布的.net speech

求大神指点 急急急-crtmpserver源代码windows下开发

问题描述 crtmpserver源代码windows下开发 crtmpserver在vs2012编译后启动,但执行界面没有显示"go,go,go"`,点击crtmpserver.exe出现闪退 解决方案 运行有问题,设个断点什么的调试一下

windows下开发并编译PHP扩展的方法

现在就简单说一在WINDOWS下开发PHP扩展的步骤: 首先需要准备的软件有: cygwin 安装路径e:\app\cygwin visual studio C++ 6.0, 修改环境变量,把已经安装好的PHP路径设置为环境变量.在这里,假设我的PHP安装目录是:e:\app\php5.2.5,那么我把WINDOWS环境变量后面加上这个安装目录.方便一会儿使用php.exe. PHP源代码,这里假设为e:\c_source_code\php-5.2.5 1.修改文件 "PHP源文件目录/ext/

windows下开发并编译PHP扩展的方法_php技巧

现在就简单说一在WINDOWS下开发PHP扩展的步骤: 首先需要准备的软件有: cygwin 安装路径e:\app\cygwin visual studio C++ 6.0, 修改环境变量,把已经安装好的PHP路径设置为环境变量.在这里,假设我的PHP安装目录是:e:\app\php5.2.5,那么我把WINDOWS环境变量后面加上这个安装目录.方便一会儿使用php.exe. PHP源代码,这里假设为e:\c_source_code\php-5.2.5 1.修改文件 "PHP源文件目录/ext/

windows下eclipse远程访问hadoop。worldcount程序报错

问题描述 windows下eclipse远程访问hadoop2.2.0.worldcount程序报错Exceptioninthread"main"java.lang.NullPointerExceptionatjava.lang.ProcessBuilder.start(ProcessBuilder.java:1011)atorg.apache.hadoop.util.Shell.runCommand(Shell.java:404)atorg.apache.hadoop.util.Sh

.Net平台下开发英文语音应用程序

程序 1.先安装金山词霸然后会在系统目录[Win2000是WINNT目录]下Speech中找到vtxtauto.tlb文件 2.导入COM对象到.Net我们可以利用.Net Framework自带的强大工具TlbImp.exe来把SAPI SDK的COM对象导入到.Net中.TlbImp.exe产生一个管制的包装类,管理客户端可以使用它.包装类管理实际的COM对象的参考数.当包装类当作收集的垃圾时,包装类释放掉它包装的COM对象.当然,你也可以在VS.NET环境中通过从项目参考对话框选择COM对

Windows下使用go语言写程序安装配置实例_Golang

linux下,google的go语言安装起来很方便,用起来也很爽,几行代码就可以实现很强大的功能. 现在的问题是我想在windows下玩-- 其实windows下也不麻烦,具体见下文. 一.安装go语言:1.安装MinGW(https://bitbucket.org/jpoirier/go_mingw/downloads) 2.下载源码 进入C:\MinGW,双击mintty开启终端窗口: 执行"hg clone -u release https://go.googlecode.com/hg/

在windows下开发的常见错误——持续更新,不断完善

1.VC9: LINK : warning LNK4068: /MACHINE not specified; defaulting to X86 原因之一:工程中包含的资源文件不在当前的工程目录中 解决办法:检测资源文件是否有效,无效则将之删除,OK,问题解决. 2.出现大量错误,未识别的"INT"类型,未以":"结尾等等 原因之一:未包含windows.h文件 解决办法:在普通头文件之前包含windows.h文件,OK,问题解决 3.Command line wa