安装RHadoop

1. R Language Install

安装相关依赖

yum install -y perl* pcre-devel tcl-devel zlib-devel bzip2-devel libX11-devel tk-devel tetex-latex *gfortran*  compat-readline5
yum install libRmath-*
rpm -Uvh --force --nodeps  R-core-2.10.0-2.el5.x86_64.rpm
rpm -Uvh R-2.10.0-2.el5.x86_64.rpm R-devel-2.10.0-2.el5.x86_64.rpm

编译安装:R-3.0.1

tar -zxvf R-3.0.1
./configure
make
make install #R运行
export HADOOP_CMD=/usr/bin/hadoop

排错

1、错误1

error: --with-readline=yes (default)

安装readline

yum install readline*

2、错误2

error: No F77 compiler found

安装gfortran

3、错误3

error: –with-x=yes (default) and X11 headers/libs are not available

安装

yum install libXt*

4、错误4

error: C++ preprocessor "/lib/cpp" fails sanity check

安装g++或build-essential(redhat6.2安装gcc-c++和glibc-headers)

验证是否安装成功

[root@node1 bin]# R
R version 3.0.1 (2013-05-16) -- "Good Sport"
Copyright (C) 2013 The R Foundation for Statistical Computing
Platform: x86_64-unknown-linux-gnu (64-bit)

R是自由软件,不带任何担保。
在某些条件下你可以将其自由散布。
用'license()'或'licence()'来看散布的详细条件。

R是个合作计划,有许多人为之做出了贡献.
用'contributors()'来看合作者的详细情况
用'citation()'会告诉你如何在出版物中正确地引用R或R程序包。

用'demo()'来看一些示范程序,用'help()'来阅读在线帮助文件,或
用'help.start()'通过HTML浏览器来看帮助文件。
用'q()'退出R.

2. 安装Rhadoop

安装rhdfs,rmr2

cd Rhadoop/
R CMD javareconf
R CMD INSTALL 'plyr_1.8.tar.gz'
R CMD INSTALL 'stringr_0.6.2.tar.gz'
R CMD INSTALL 'reshape2_1.2.2.tar.gz'
R CMD INSTALL 'digest_0.6.3.tar.gz'
R CMD INSTALL 'functional_0.4.tar.gz'
R CMD INSTALL 'iterators_1.0.6.tar.gz'
R CMD INSTALL 'itertools_0.1-1.tar.gz'
R CMD INSTALL 'Rcpp_0.10.3.tar.gz'
R CMD INSTALL 'rJava_0.9-4.tar.gz'
R CMD INSTALL 'RJSONIO_1.0-3.tar.gz'
R CMD INSTALL 'reshape2_1.2.2.tar.gz'
R CMD INSTALL 'rhdfs_1.0.5.tar.gz'
R CMD INSTALL 'rmr2_2.2.0.tar.gz'

R library(rhdfs)检查是否能正常工作

验证测试

Rmr测试命令:

> train.mr<-mapreduce( + train.hdfs, + map = function(k, v) { + keyval(k,v$item) + } + ,reduce=function(k,v){ + m<-merge(v,v) + keyval(m$x,m$y) + } + )

出现如下错误:

packageJobJar: [/tmp/RtmpCuhs7d/rmr-local-env18916b6f86b3, /tmp/RtmpCuhs7d/rmr-global-env18913824c681, /tmp/RtmpCuhs7d/rmr-streaming-map18912d6c2b1c, /tmp/RtmpCuhs7d/rmr-streaming-reduce1891179bb645, /tmp/hadoop-root/hadoop-unjar4575094085541826184/] [] /tmp/streamjob2910108622786868147.jar tmpDir=null 13/06/05 18:22:28
WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 13/06/05 18:22:28 INFO mapred.FileInputFormat: Total input paths to process : 1 13/06/05 18:22:29
INFO streaming.StreamJob: getLocalDirs(): [/tmp/hadoop-root/mapred/local] 13/06/05 18:22:29 INFO streaming.StreamJob: Running job: job_201306050931_0004 13/06/05 18:22:29
INFO streaming.StreamJob: To kill this job, run: 13/06/05 18:22:29
INFO streaming.StreamJob: /usr/lib/hadoop/bin/hadoop job  -Dmapred.job.tracker=cdh1:8021 -kill job_201306050931_0004 13/06/05 18:22:29 INFO streaming.StreamJob: Tracking URL: http://cdh1:50030/jobdetails.jsp?jobid=job_201306050931_0004 13/06/05 18:22:30
INFO streaming.StreamJob:  map 0%  reduce 0% 13/06/05 18:22:56
INFO streaming.StreamJob:  map 100%  reduce 100% 13/06/05 18:22:56
INFO streaming.StreamJob: To kill this job, run: 13/06/05 18:22:56
INFO streaming.StreamJob: /usr/lib/hadoop/bin/hadoop job  -Dmapred.job.tracker=cdh1:8021 -kill job_201306050931_0004 13/06/05 18:22:56
INFO streaming.StreamJob: Tracking URL: http://cdh1:50030/jobdetails.jsp?jobid=job_201306050931_0004 13/06/05 18:22:56
ERROR streaming.StreamJob: Job not successful. Error: NA 13/06/05 18:22:56
INFO streaming.StreamJob: killJob... Streaming Command Failed! Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce,  :   hadoop streaming failed with error code 1

错误解决方法: 通过查看日志,hadoop没有在/usr/bin下找到Rscript,于是从R的安装目录/usr/local/bin下做R和Rscript的符号链接到/usr/bin下,再次执行即可解决次错。

#ln -s /usr/loca/bin/R  /usr/bin
#ln -s /usr/local/bin/Rscript  /usr/bin

3. 安装rhbase

## 安装依赖

#yum install boost*
#yum install openssl*

安装thrift

#tar -zxvf thrift-0.9.0.tar.gz
#mv thrift-0.9.0/lib/cpp/src/thrift/qt/moc_TQTcpServer.cpp  thrift-0.9.0/lib/cpp/src/thrift/qt/moc_TQTcpServer.cpp.bak
#cd thrift-0.9.0
#./configure --with-boost=/usr/include/boost JAVAC=/usr/java/jdk1.6.0_31/bin/javac
#make
#make install

如果报错:error: “Error: libcrypto required.”

#yum install openssl*

如果报错:

src/thrift/qt/moc_TQTcpServer.cpp:14:2: error: #error "This file was generated using the moc from 4.8.1. It"
src/thrift/qt/moc_TQTcpServer.cpp:15:2: error: #error "cannot be used with the include files from this version of Qt."
src/thrift/qt/moc_TQTcpServer.cpp:16:2: error: #error "(The moc has changed too much.)"

则运行下面命令:

#mv thrift-0.9.0/lib/cpp/src/thrift/qt/moc_TQTcpServer.cpp  thrift-0.9.0/lib/cpp/src/thrift/qt/moc_TQTcpServer.cpp.bak

配置PKG_CONFIG_PATH

export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
 	pkg-config --cflags thrift    #返回:-I/usr/local/include/thrift为正确
 	cp /usr/local/lib/libthrift-0.9.0.so /usr/lib/
 	cp /usr/local/lib/libthrift-0.9.0.so /usr/lib64/

启动hbase:

/usr/lib/hbase/bin/hbase-daemon.sh  start  thrift

使用jps查看thrift进程

安装rhbase

R CMD INSTALL 'rhbase_1.1.1.tar.gz'

验证并测试

在R命令行中输入library(rmr2)、library(rhdfs)、library(rhbase),载入成功即表示安装成功

[root@desktop27 hadoop]# R
R version 3.0.1 (2013-05-16) -- "Good Sport"
Copyright (C) 2013 The R Foundation for Statistical Computing
Platform: x86_64-unknown-linux-gnu (64-bit)
R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under certain conditions.
Type 'license()' or 'licence()' for distribution details.
Natural language support but running in an English locale
R is a collaborative project with many contributors.
Type 'contributors()' for more information and
'citation()' on how to cite R or R packages in publications.
Type 'demo()' for some demos, 'help()' for on-line help, or
'help.start()' for an HTML browser interface to help.
Type 'q()' to quit R.
> library(rhdfs)
Loading required package: rJava
HADOOP_CMD=/usr/bin/hadoop
Be sure to run hdfs.init()
> library(rmr2)
Loading required package: Rcpp
Loading required package: RJSONIO
Loading required package: digest
Loading required package: functional
Loading required package: stringr
Loading required package: plyr
Loading required package: reshape2
> library(rhbase)
>

4. 装RHive

环境变量

设置环境变量 vim /etc/profile,末行添加如下:

export HADOOP_CMD=/usr/bin/hadoop
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig/
export HADOOP_STREAMING=/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.0.0-mr1-cdh4.2.1.jar
export HADOOP_HOME=/usr/lib/hadoop
export RHIVE_DATA=/hadoop/dfs/rhive/data
export HIVE_HOME=/usr/lib/hive

安装Rserve:

#R CMD INSTALL 'Rserve_1.7-1.tar.gz'

在安装Rsever用户下,创建一目录,并创建Rserv.conf文件,写入``remote enable’‘保存并退出。

#cd /usr/local/lib64/R/
#echo remote enable > Rserv.conf

启动Rserve:

#R CMD Rserve --RS-conf /usr/local/lib64/R/Rserv.conf

检查Rserve启动是否正常:

#telnet localhost 6311

显示 Rsrv0103QAP1 则表示连接成功

安装RHive

创建数据目录:

#R CMD INSTALL RHive_0.0-7.tar.gz
#cd /usr/local/lib64/R/
mkdir -p rhive/data

在上传rhive_udf.jar到hdfs上:

hadoop fs -mkdir /rhive/lib
cd /usr/local/lib64/R/library/RHive/java
hadoop fs -put rhive_udf.jar /rhive/lib
hadoop fs -chmod a+rw /rhive/lib/rhive_udf.jar
cd /usr/lib/hadoop
ln -s /etc/hadoop/conf conf

测试RHive安装是否成功:

R
library(RHive)
rhive.connect('192.168.0.27')【hive的地址】
rhive.env()
时间: 2024-08-31 17:00:51

安装RHadoop的相关文章

《R与Hadoop大数据分析实战》一导读

前 言 组织获得的数据量每一天都在成倍增加.现在组织可以存储大量信息在低成本平台上,例如Hadoop. 如今这些组织面临的难题是如何处理这些数据以及如何从这些数据中获取关键的见解.于是R应运而生.R是一个令人惊讶的工具,它是一个在数据中能够运行先进统计模型的单元,它将原始模型翻译成丰富多彩的图形和可视化视图,而且它有很多和数据科学相关的功能. 然而,R的一个主要缺点是它的可扩展性较差.R的核心技术引擎可以加工和处理非常有限的数据量.正因为在大数据处理中Hadoop十分流行,所以为了可扩展性,下一

《R的极客理想—工具篇》—— 1.2 R的历史版本安装

1.2 R的历史版本安装 问题 在Linux Ubuntu上,如何安装不同版本的R? 引言 R语言已进入到了3.0的时代,但有些第三方的R包还处于2.15的状态,没有升级,如RHadoop等.我们要用这些R包的时候,就需要指定版本的R软件.对于Windows来说,这是很简单的操作,只要安装不同的(.exe)文件就行了:对于Linux系统来说,就不那么容易了,需要我们手动进行配置.不熟悉Linux系统的同学,在这里就很容易卡住.所以,本节就讲一下如何在Linux Ubuntu系统中安装R语言软件包

APACHE安装笔记

apache|笔记 作者:车东 摘要: WEB应用容量规划:根据硬件配置和WEB应用的特点进行WEB服务的规划及一些简单的估算公式: APACHE安装过程:apache的通用的简化安装选项,方便以后的应用的模块化配置:修改 HARD_SERVER_LIMIT:vi /path/to/apache_src/src/include/httpd.h#define HARD_SERVER_LIMIT 2560 <===将原来的 HARD_SERVER_LIMIT 256 后面加个"0"a

win7下使用U盘安装Ubuntu Kylin完全详解教程

安装失败了好几次,看了很多篇博客,最后终于成功了,并且做了这个win7下使用U盘安装Ubuntu的教程,希望能给大家带来帮助! 详细的图文步骤如下: 部分操作步骤转自 http://blog.csdn.net/dreamthen/article/details/8765472,感谢. 1.本次使用的是64位的ubuntu Kylin桌面版,iso镜像可以自己去官网下载,大约700MB 2.  将系统拷进U盘,制成u盘启动系统. 4.将电脑划分出来一个空盘,大小20G 足矣,也可以根据个人喜好,分

Android Studio 在 win7 下的安装和设置

首先完成android studio下载 http://developer.android.com/sdk/installing/studio.html 其次下载jdk1.7.0_01,并且完成安装: 下面开始进行安装和设置: 由于studio支持系统位数是64位,而我自己所用电脑是32位的,所以安装完成以后出现启动不了,解决方法如下: 用文本工具打开studio.bat 其中找到 SET BITS=IF EXIST "%JRE%\lib\amd64" SET BITS=64 把IF

VHD安装Windows8系统图文教程

ImageX 是一个命令行工具,它可以在操作系统映像中使用共享的映像格式来创建.修改和部署映像.VHD是微软虚拟磁盘文件,Win7(专业版以上)及Win8原生支持从VHD启动.利用这两项技术实现win7.win8双系统,痛快的体验win8.优点是不必单独拿一个分区来装win8.卸载方便(省掉折腾硬盘分区.卸载时win8分区合并回去的麻烦),对原系统无影响,与实机安装几乎无差别的性能体验.缺点是不能休眠,无法完成系统评分,只适用于Windows 7,8,Windows Server 20008 R

Win8系统硬盘安装详细图文教程

Win8的RTM正式版的已经发布了MSDN下载,RTM的build是9200,和Win7不同的是,Win8只有两个版本,一个是类似Win7 家庭版的Core核心版,一个是类似Win7旗舰版和专业版二合一的Pro专业版,而安装方法也不同,Win8无论是核心版还是专业版,都是使用一个镜像进行安装,区别是输入的安装码不同,而安装不同的版本. Win8相关推荐: U盘安装Windows8教程 Windows 8 RTM正式版下载 1.首先下载上面链接给出的Win8,然后用winrar.winzip.7Z

硬盘安装Windows 8系统图文教程

没有光驱.没有光盘.没有U盘,照样安装一个全新的Windows 8!什么?你不信?那就看看软件小品如何教你使用硬盘安装一个全新的Windows 8!看了这篇图文并茂的硬盘安装Window8详细教程,我就不信你学不会!好了,开始动手吧! 一.准备工作: 可以正常工作的Windows xp/7操作系统以及容量大于3.5G的非系统分区; Windows 8 硬盘安装引导工具 nt6 hdd installer ; Windows 8 微软官方安装镜像(以下称Windows 8 镜像). 二.开始安装:

小米随身wifi驱动安装失败解决方法

  小米随身wifi支持windows xp, windows vista 32/64位,windows 7 32/64位 ,windows 8 32/64位usb 2.0接口;符合ieee 802.11n协议,兼容ieee 802.11g和ieee 802.11b标准; 下面,我们就来看看小米随身wifi驱动无法安装的解决方法. 米随身wifi驱动安装失败解决方法: 1.下载最新版本的小米随身wifi驱动,重新安装后,换个usb口重新连接小米随身wifi可以了. 2.安装时,用系统默认的就路径