hadoop学习笔记--10.hive安装与配置

一、hive安装

1.环境要求
  1、 Java 1.7或以上
  2、 Hadoop 2.x (preferred), 1.x (not supported by Hive 2.0.0 onward).
2.安装配置
  Hive没有才有hadoop、HBase或者是Zookeeper的主从架构,所以只用在所需要的机器上安装即可。
  1. 解压
    tar -zxvf apache-hive-0.13.1-bin.tar.gz
    把解压的文件夹移到自己需要的存放的目录。
  2. 配置环境
    sudo vi /etc/profile
    export HIVE_HOME=/usr/export/servers/apache-hive-0.13.1-bin
    export PATH=$$PATH:$HIVE_HOME/bin
    环境生效 source /etc/profile

  3. 配置hive-env.sh
    (1).改名
      把hive-env.sh.template 改成hive-env.sh
    (2). 配置HADOOP_HOME (hadoop安装目录)
      HADOOP_HOME=/usr/export/servers/hadoop-2.6.1
    (3). 配置 export HIVE_CONF_DIR (hive的conf目录)
      export HIVE_CONF_DIR=/usr/export/servers/apache-hive-0.13.1-bin/conf

  4. 在hdfs中建立文件 /tmp和/user/hive/warehouse并修改权限
    hadoop fs -mkdir /tmp
    hadoop fs -mkdir /user/hive/warehouse
    hadoop fs -chmod g+w /tmp
    hadoop fs -chmod g+w /user/hive/warehouse
  5. 安装完成
    键入hive命令即可,进入hive的CLI命令行模式。
  
 

二、 Hive 运行模式及配置
  hive元数据库支持的3种运行模式, 内嵌模式、本地模式和远程模式。
内嵌模式
  默认的模式,元数据服务和hive运行在同一个JVM中,元数据存储在本地磁盘的Derby中,只能有一个hive会话。
本地模式
  使用一个独立的数据库作为元数据的存储组件,如mysql。
  
  安装mysql(Ubuntu)
    1. 查看是否已经安装mysql
      sudo netstat -tap | grep mysql
      没有结果即没有安装。
    2. 查看是否已经安装mysql
     sudo apt-get install mysql-server
     sudo apt-get install mysql-client
     最好使用root用户安装,遇到过安装失败的,在root用户下更新update apt-get。

  Mysql配置
    1. 修改root密码
      UPDATE user SET Password=PASSWORD(‘123456’) where USER=’root’;
    2. 允许用户远程访问
      sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
      bind-address = 127.0.0.1 //找到此内容并且注释
    3. 允许root用户远程访问
      (1). 进入mysql,进入mysql数据库
      (2). mysql数据库下有一个user的表
      (3). 查找user表的User,Host列
      select User,Host from user;
     (4). 找到User列为root,Host列为localhost,修改Host列为‘%’
     update user set Host=’%’ where User=’root’ and  Host=’localhost’;
     flush privileges;
    4. 重启mysql
      sudo /etc/init.d/mysql restart
      
  hive配置
    1. 在hive目录conf下创建hive-site.xml文件,内容初始化为: 

    2. 在hive-default.xml.template文件中找到如下4个配置内容:
      (1):javax.jdo.option.ConnectionURL
      (2):javax.jdo.option.ConnectionDriverName
      (3):javax.jdo.option.ConnectionUserName
      (4):javax.jdo.option.ConnectionPassword
      在hive-site.xml添加这四项的配置
      
      
  拷贝jar包
  拷贝mysql驱动jar包,到Hive安装目录的lib下.新的hive版本可能还需要将HIVE_HOME/lib/jline-2.12.jar 这个文件替换掉HADOOP_HOME/share/hadoop/yarn/lib 下原来的版本 (即:将旧版本删除,复制新版本到此目录),否则hive启动将失败
  
远程模式
  hive服务器和元数据服务在不同的jVM下,hive服务器可以访问多个元数据服务器。一般通过JDBC/ODBC访问。

时间: 2025-01-15 06:17:32

hadoop学习笔记--10.hive安装与配置的相关文章

PHP学习笔记----IIS7下安装配置php环境

原文:PHP学习笔记----IIS7下安装配置php环境 Php如何安装                                                                                     Php版本的选择 Php在windows下的(php5.4.7)有两种版本: VC9 x86 Non Thread Safe 非线程安全型 以FastCGI模式运行 VC9 x86 Thread Safe 线程安全性 以ISAPI模式运行 安装过程 只需要解

thinkphp学习笔记10—看不懂的路由规则

原文:thinkphp学习笔记10-看不懂的路由规则 路由这部分貌似在实际工作中没有怎么设计过,只是在用默认的设置,在手册里面看到部分,艰涩难懂.   1.路由定义 要使用路由功能需要支持PATH_INFO,PATH_INFO是什么呢?手册中提到"要使用路由功能,前提是你的URL支持PATH_INFO(或者兼容URL模式也可以,采用普通URL模式的情况下不支持路由功能)," , url支持path_info,不是apache要支持path_info么,度娘讲的还算清楚一点,见下文: p

Hadoop 2.x(YARN)中安装和配置LZO

今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. 安装LZO 下载lzo 2.06版本,编译64位版本,同步到集群中 wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz export CFLAGS=-m64 ./configure -enable-shared

Akka学习笔记(七):配置

Akka学习笔记(七):配置 使用Akka可以不用任何配置,Akka提供了明智的默认配置.为了适应特别的运行环境,修改默认行为,你可能需要修改: log level and logger backend enable remoting 消息系列化 路由设置 调度器调优 Akka使用Typesafe Config Library,纯java实现的配置库.之前博客有介绍过here 从哪里读取配置 Akka的所有配置信息装在 ActorSystem的实例中, 或者换个说法, 从外界看来, ActorS

Hadoop学习笔记之:Hadoop的两个部分

本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结. 言归正传,先说一下Hadoop的来龙去脉.谈到Hadoop就不得不提到Lucene和Nutch.首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种实际应用中实现全文搜索/索引功能.

Hadoop学习笔记一 简要介绍

这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结. 言归正传,先说一下Hadoop的来龙去脉.谈到Hadoop就不得不提到Lucene和Nutch.首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种

Hadoop学习笔记二 安装部署

硬件环境 共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0.IP配置如下: dbrg-1:202.197.18.72 dbrg-2:202.197.18.73 dbrg-3:202.197.18.74 这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析. 一个很简单的测试办法就是ping一下主机名,比如在dbrg-1上ping dbrg-2,如果能ping通就OK!若不能正确解析,可以修改/etc/hosts文件,如果该台机器作Namenode用,则需

开源Hadoop HDFS高可用性介绍、安装与配置

那么 CAMP 服务器对开源 Hadoop 的高可用性是否支持?答案是 肯定的.本文将介绍如何在 CAMP 服务器上使用 PLinux 操作系统实现开源 Hadoop HDFS 的高可用性.Hadoop 是目前最热门的大数据计算系统,它实现了一个可扩展的分布式文件系统 HDFS 作为海量数据的存储系统.HDFS 是主从式的分布式系统(如图 1),NameNode 管理整个文件系统的元数据,负责数据的分配,并管理着 DataNode:而 DataNode 负责存储数据块,按块(用户可设置,默认是

Hadoop服务器集群HDFS 安装与配置详解

简单的描述一下这些系统: HBase – Key/Value的分布式数据库 Zookeeper – 支撑分布式应用的协作系统 Hive – SQL解析引擎 Flume – 分布式的日志收集系统 一.相关环境说明: s1: hadoop-master namenode,jobtracker; secondarynamenode; datanode,taskTracker s2: hadoop-node-1 datanode,taskTracker; s3: hadoop-node-2 dataNo