SQOOP安装部署

1.环境准备

1.1软件版本

sqoop-1.4.5 下载地址

2.配置

sqoop的配置比较简单,下面给出需要配置的文件

2.1环境变量

sudo vi /etc/profile
SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5
PATH=$SQOOP_HOME/bin
export SQOOP_HOME


2.2sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/source/hadoop-2.5.1

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/source/hadoop-2.5.1

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/source/hive-0.14.0

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

注:目前我是木有配置HBase和Zookeeper的,若有需要的人可以将路径直接指定到HBase和Zookeeper的安装路径下。

2.3异常

Streaming result set com.mysql.jdbc.RowDataDynamic@12e9d40f is still active

执行sqoop脚本时,出现这个异常是因为mysql的驱动的原因,使用最新的mysql驱动包。

解决方案:



wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz

然后解压到sqoop目录的lib目录下,重新执行脚本正常。

至此,sqoop的安装配置以及使用到此完成。

时间: 2024-09-19 09:24:31

SQOOP安装部署的相关文章

如何将mysql数据导入Hadoop之Sqoop安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目. 总之Sqo

Storm集群安装部署步骤

开始学习Storm,本文主要记录Storm集群安装部署步骤,不包括对Storm的介绍. 安装storm集群,需要依赖以下组件: Zookeeper Python Zeromq Storm JDK JZMQ 故安装过程根据上面的组件分为以下几步: 安装JDK 安装Zookeeper集群 安装Python及依赖 安装Storm 另外,操作系统环境为:Centos6.4,安装用户为:root. 1. 安装JDK 安装jdk有很多方法,可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步

解决.NET(WebApplication)安装部署的不能选择安装路径的问题

application|web|解决|问题 (一)说明 WebApplication安装部署时,不能选择安装路径:解决思路: (1)创建一个控制台应用程序CreateWebDir.exe ,作用是创建 Web 虚拟目录. (2)安装部署制作采用windows Application安装部署,不是WebApplication安装 部署.因为windows Application安装部署有选择路径的操作,选择的路径 保存在 [TARGETDIR]. (3)在安装部署制作-"自定义操作"中[

Spark语言的安装部署

Spark是UC Berkeley AMPLab开发的类MapRed计算框架.MapRed框架适用于batch job,但是由于它自身的框架限制,第一,pull-based heartbeat作业调度.第二,shuffle中间结果全部落地disk,导致了高延迟,启动开销很大.而Spark是为迭代式,交互式计算所生的.第一,它采用了actor model的akka作为通讯框架.第二,它使用了RDD分布式内存,操作之间的数据不需要dump到磁盘上,而是通过RDD Partition分布在各个节点内存

MetaQ的安装部署文档

一.MetaQ安装部署情况: 地点 IP Broker ID Master/Slave Slave ID:Group 合肥 192.168.52.23 1 Slave 1:meta-slave-group-hf 北京 192.168.51.33 1 Master / 广州 192.168.70.157 1 Slave 2:meta-slave-group-gz 二.MetaQ安装 1.前提 已有安装了ZooKeeper的机器,且三地的MetaQ都可以访问到,即三个IP都可以ping通安装了Zoo

如何使用Kickstart+pxe自动化安装部署无人值守的linux服务器

一.准备工作, 1. 首先要在你当前的环境下有DHCP服务器,为你安装的客户端提供DHCP服务:DHCP的安装部署就不需要我们多重复了: 2. 需要在安装无人值守的linux服务器的BIOS支持pxe协议: 3. 服务端需要有tftp服务.NFS服务.HTTP服务: 4. 安装服务kickstart.生成kickstart文件: 二.安装部署: 1. 首先查看服务端的IP地址: 2. 然后需要安装我们上面的提到部署安装包:因为我们服务器没有安装桌面,首先我们安装桌面,因为要通过工具生成kicks

浅谈Excel开发(八) Excel项目的安装部署

相关文章: 浅谈Excel开发(1) Excel开发概述 浅谈Excel开发(二) Excel 菜单系统 浅谈Excel开发(三) Excel 对象模型 前面几篇文章讲解了Excel开发的几个比较主要的也是比较重要的方面,比如菜单系统,Excel对象模型,自定义函数,RTD函数,异步自定义函数,用户自定义任务面板等,在实际开发中我们还会遇到各种"千奇百怪"的问题,以及开发中的一些注意事项和技巧等,后面有空我会写文介绍.当我们的Excel外接应用程序开发好了之后,需要给用户使用,这就涉及

一键搞定Java桌面应用安装部署

对于作Java桌面应用来说,比较烦人的就是安装部署问题,客户端是否安装 有jre.jre版本问题.jre去哪下载.如何用jre启动你的Java应用?不要说刚接 触电脑的人,就算是比较熟悉电脑,如果没有接触过Java,面对一个Java应用, 如何在Windows下启动它,估计都会折腾半天.如果不是因为这个问题,Java在 我的眼里算是最完美的语言了,也是我最喜爱的语言. 所以我认为这个是导致Java桌面应用被一些人所讨厌的最大原因,Java的优 势是"一次编写,随处运行",跨平台特性确实

深入研究VS.NET安装部署

相信很多人都做过安装程序,目前最大功能最全的当属InstallShield,但是InstallShield的语法学习起来实在费劲,相对而言VS.net自带的安装部署短小精悍,且使用C#语法,对于一般C#开发者来说使用起来就极为简便,在对其作了一些研究之后,发现vs.net的安装部署项目的功能也已经非常好用,一般的程序安装都可以轻松实现,当然,在研究的过程中也发现了一些缺陷,这个后面再提. 下面就向大家介绍一下ASP.NET安装部署项目的一些复杂应用实现: 首先我们假设存在一个已经完工的Web项目