Hadoop2.6下安装Hive

安装Mysql:

sudo apt-get install mysql-server mysql-client

安装后检查是否启动

创建数据库Hive和用户hadoop

用root身份进入mysql:

mysql -u root -p

解压及配置Hive

我的hadoop安装目录在 /usr/local/hadoop-2.6.4 中,解压apache-hive-1.1.1-bin.tar.gz到 /usr/local/hadoop-2.6.4/hive 中。


  1. tar –zxvf /usr/local/hadoop/hive apache-hive-1.1.1-bin.tar.gz 

修改 /etc/profile 文件,添加HIVE_HOME和PATH


  1. export HIVE_HOME=/usr/local/hadoop-2.6.4/hive/apache-hive-1.1.1-bin 
  2.  
  3. export PATH= \${PATH}:\${HIVE_HOME}/bin 
  4.  
  5. source /etc/profile 使配置生效 

在 /usr/local/hadoop-2.6.4/apache-hive-1.1.1-bin/conf 复制一份 hive-default.xml.template 为 hive-size.xml 文件


  1. cp hive-default.xml.template hive-site.xml 

修改内容如下,模板里面没有 hive.metastore.local ,手动添加,账户和密码是使用Mysql的账户密码:


  1. <property> 
  2. <name>hive.metastore.local</name> 
  3. <value>true</value> 
  4. </property> 
  5. <property> 
  6. <name>javax.jdo.option.ConnectionURL</name> 
  7. <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> 
  8. <description>JDBC connect string for a JDBC metastore</description> 
  9. </property> 
  10. <property> 
  11. <name>javax.jdo.option.ConnectionDriverName</name> 
  12. <value>com.mysql.jdbc.Driver</value> 
  13. <description>Driver class name for a JDBC metastore</description> 
  14. </property> 
  15. <property> 
  16. <name>javax.jdo.option.ConnectionUserName</name> 
  17. <value>root</value> 
  18. <description>Username to use against metastore database</description> 
  19. </property> 
  20. <property> 
  21. <name>javax.jdo.option.ConnectionPassword</name> 
  22. <value>admin</value> 
  23. <description>password to use against metastore database</description> 
  24. </property> 

在 /usr/local/hadoop-2.6.4/apache-hive-1.1.1-bin/bin/ 修改hive-config.sh添加下面的3个export语句

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101

export HADOOP_HOME=/usr/local/hadoop-2.6.4

export HIVE_HOME=/usr/local/hadoop-2.6.4/hive/apache-hive-1.1.1-bin

将下载的 mysql-connector-java-5.1.40 中的 mysql-connector-java-5.1.40-bin.jar 复制到apache-hive-1.1.1-bin/lib 中

启动hive

在Mysql和Hadoop运行的情况下,使用 hive 命令运行hive:

hive

可能发生的问题

(1)Exception in thread “main” java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: \${system:java.io.tmpdir%7D/\$%7Bsystem:user.name%7D

at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444)

at

处理办法:在配置文件hive-site.xml里找” system:java.io.tmpdir “把他们都换成绝对路径如: /usr/local/hadoop-2.6.4/hive/apache-hive-1.1.1-bin/iotmp

(2)[ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

原因:hadoop目录下存在老版本jline:

/usr/local/hadoop-2.6.4/share/hadoop/yarn/lib/:

-rw-r–r– 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar

解决办法:

cp /usr/local/hadoop-2.6.4/hive/apache-hive-1.1.1-bin/lib/jline-2.12.jar /usr/local/hadoop-2.6.4/share/hadoop/yarn/lib/

本文作者:Chay Cao

来源:51CTO

时间: 2024-08-11 20:36:25

Hadoop2.6下安装Hive的相关文章

mac os 下安装hadoop-2.7.3+hive-2.1.1+sqoop-1.99.3

hadoop 安装 安装jdk vim ~/.bash_profile export JAVA_HOME="YOUR_JAVA_HOME" export PATH=$PATH:$JAVA_HOME/bin 配置完成后,运行 java -version -------------- java version "1.8.0_121" Java(TM) SE Runtime Environment (build 1.8.0_121-b13) Java HotSpot(TM

Ubuntu14.04下安装Hadoop2.5.1 (单机模式)

一.在Ubuntu下创建hadoop组和hadoop用户 1.创建hadoop用户组 sudo addgroup hadoop 2.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可.如果不输入密码,回车后会重新提示输入密码,即密码不能为空.最后确认信息是否正确,如果没问题,输入 Y,回车即可. 3.为hadoop用户添加权限 输入: sudo gedit /etc/sudo

32位Linux下安装64位Hadoop的问题

问题描述 32位Linux下安装64位Hadoop的问题 本人最近在学习Hadoop, 使用的版本为2.5.2,目前已经在Linux环境下搭建好了. 但是现在在hadoop中建立上传文件目录时,碰到如下问题: 在/hadoop-2.5.2/bin下执行: ./hdfs dfs -mkdir -p ~/hdfile 之后报出错误提示信息: Java HotSpot(TM) Client VM warning: You have loaded library /home/wluser/hadoop-

Windows下安装Hadoop

Windows10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x.详细记录了Windows10版本下对Hadoop的编译.安装步骤,以及相关包或者软件下载安装过程. 不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin. Hadoop版本支持情况:Hadoop 2.2版本起包括Windows的原生支持.截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二进制文件. Windows版本支持情况:Hadoop官方人员开发.测试

mysql-在Linux下安装的Mysql的配置文件在哪里?

问题描述 在Linux下安装的Mysql的配置文件在哪里? 最近学习Hadoop,到了Hive看视频上用的是已经安好的Mysql,于是我就自己安一个. 我用apt-get命令安装了Mysql-server和Mysql-Client,但是不知道安装好后在哪里修改配置文件,而且安装完后其它的后续步骤都不会操作,还是使用mysql命令时出现Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (

如何在XP系统下安装Win7实现双系统

  XP系统下安装Win7实现双系统的具体步骤: 第一步: 格式化磁盘 第二步: 然后使用虚拟光驱加载win7x64中文旗舰版系统 第三步: 打开NT6快捷安装器 第四步: 打开虚拟光驱加载的iso镜像

Win7下安装Hadoop

1.本人电脑是Win7 64位系统的: 2.JDK 版本: 3.Cygwin 版本: 官网自行下载 4.Hadoop 版本: 官网自行下载,下载稳定版的吧 下面就开始安装啦~~~~ 一. 安装JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK.我安装的路径为C:\Java\jdk1.7.0_21,安装完配置环境变量: 1. 安装完成后开始配置环境变量,右击我的电脑,点击属性 2. 在出现的对话框中选择高级系统

windows 下安装 eclipse for c /C++出现的问题

现在想在windows  xp下安装 eclipse  for C/C++,为了验证安装的是否正确,习惯性的写了在这个环境下的第一个"hello world",程序代码如你所知是很就简单的: #include <stdio.h> int main() { printf("hello world\n"); return 0; } 在按下ctrl+B进行构建的时候出现了问题 错误提示如下所示: LINK : fatal error LNK1104: 无法打开

Solaris 下安装Oracle8.17文档

Solaris 下安装Oracle8.17一.用root用户做:1.groupadd dba 2.useradd  -d dba -d $ORACLE_HOME -m -s /bin/sh oracle3.修改/etc/group文件的最后一行如下:dba::100:oracle4.修改/etc/passwd文件的最后一行如下:oracle:x:1001:100::/ORACLE_HOME:/bin/sh5.mkdir /oracle;chown -R oracle:dba /oracle6.#