1.2 在Linux集群上部署Spark
Spark安装部署比较简单，用户可以登录其官方网站（http://spark.apache.org/downloads.html）下载Spark最新版本或历史版本，也可以查阅Spark相关文档作为参考。本书开始写作时，Spark刚刚发布1.5.0版，因此本章所述的环境搭建均以Spark 1.5.0版为例。
Spark使用了Hadoop的HDFS作为持久化存储层，因此安装Spark时，应先安装与Spark版本相兼容的Hadoop。
本节以阿里云Linux主机为例，描述集群环境及Spark开发环境的搭建过程。
Spark计算框架以Scala语言开发，因此部署Spark首先需要安装Scala及JDK（Spark1.5.0需要JDK1.7.0或更高版本）。另外，Spark计算框架基于持久化层，如Hadoop
HDFS，因此本章也会简述Hadoop的安装配置。
1.2.1 安装OpenJDK
Spark1.5.0要求OpenJDK1.7.0或更高版本。
以本机Linux X86机器为例，OpenJDK的安装步骤如下所示：
1）查询服务器上可用的JDK版本。在终端输入如下命令：
yum list
"*JDK*"
yum 会列出服务器上的JDK版本。
2）安装JDK。在终端输入如下命令：
yum install
java-1.7.0-openjdk-devel.x86
cd /usr/lib/jvm
ln -s
java-1.7.0-openjdk.x86 java-1.7
3） JDK环境配置。
① 用编辑器打开/etc/profile文件，加入如下内容：
export
JAVA_HOME=/usr/lib/jvm/java-1.7
export
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
关闭并保存profile文件。
② 输入命令 source /etc/profile 让配置生效。
1.2.2 安装Scala
登录Scala官网（http://www.scala-lang.org/download/）下载最新版本： scala-2.11.7.tgz
1）安装。
tar zxvf
scala-2.11.7.tgz -C /usr/local
cd /usr/local
ln -s
scala-2.11.7 scala
2） 配置：打开/etc/profile， 加入如下语句：
export SCALA_HOME=/usr/local/scala
export
PATH=$PATH:$SCALA_HOME/bin
1.2.3 配置SSH免密码登录
在分布式系统中，如Hadoop与Spark，通常使用SSH（安全协议，Secure Shell）服务来启动Slave节点上的程序，当节点数量比较大时，频繁地输入密码进行身份认证是一项非常艰难的体验。为了简化这个问题，可以使用”公私钥”认证的方式来达到SSH免密码登录。
首先在Master节点上创建一对公私钥（公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa），然后把公钥拷贝到Worker节点上（~/.ssh/authorized_keys）。二者交互步骤如下：
1） Master通过SSH连接Worker时，Worker生成一个随机数然后用公钥加密后，发回给Master。
2） Master收到加密数后，用私钥解密，并将解密数回传给Worker。
3） Worker确认解密数正确之后，允许Master连接。
如果配置好SSH免密码登录之后，在以上交互中就无须用户输入密码了。下面介绍安装与配置过程。
1）安装SSH： yum install ssh
2）生成公私钥对： ssh-keygen -t rsa
一直按回车键，不需要输入。执行完成后会在~/.ssh目录下看到已生成id_rsa.pub与id_rsa两个密钥文件。其中id_rsa.pub为公钥。
3）拷贝公钥到Worker机器： scp ~/.ssh/id_rsa.pub <用户名>@<worker机器ip>:~/.ssh
4）在Worker节点上，将公钥文件重命名为authorized_keys： mv id_rsa.pub auth-orized_keys。类似地，在所有Worker节点上都可以配置SSH免密码登录。
1.2.4 Hadoop的安装配置
登录Hadoop官网（http://hadoop.apache.org/releases.html）下载Hadoop 2.6.0安装包 hadoop-2.6.0.tar.gz。然后解压至本地指定目录。
tar zxvf
hadoop-2.6.0.tar.gz -C /usr/local
ln -s
hadoop-2.6.0 hadoop
下面讲解Hadoop的配置。
1）打开/etc/profile，末尾加入：
1.2.5 Spark的安装部署
登录Spark官网下载页面（http://spark.apache.org/downloads.html）下载Spark。这里选择最新的Spark 1.5.0版spark-1.5.0-bin-hadoop2.6.tgz（Pre-built for Hadoop2.6 and later）。
然后解压spark安装包至本地指定目录:
tar zxvf
spark-1.5.0-bin-hadoop2.6.tgz -C /usr/local/
ln -s
spark-1.5.0-bin-hadoop2.6 spark
下面让我们开始Spark的配置之旅吧。
1） 打开/etc/profile，末尾加入：
export
SPARK_HOME=/usr/local/spark
PATH=$PATH:${SPARK_HOME}/bin
关闭并保存profile，然后命令行执行 source /etc/profile 使配置生效。
2） 打开/etc/hosts，加入集群中Master及各个Worker节点的ip与hostname配对。
x.x.x.x
Master-name
x.x.x.x worker1
x.x.x.x worker2
x.x.x.x worker3
……
3） 进入/usr/local/spark/conf，在命令行执行：
cp
spark-env.sh.template spark-env.sh
vi spark-env.sh
末尾加入：
export
JAVA_HOME=/usr/lib/jvm/java-1.7
export SCALA_HOME=/usr/local/scala
export
SPARK_MASTER_IP=112.74.197.158<以本机为例>
export
SPARK_WORKER_MEMORY=1g
保存并退出，执行命令：
cp
slaves.template slaves
vi slaves
在其中加入各个Worker节点的hostname。这里以四台机器（master、worker1、worker2、worker3）为例，那么slaves文件内容如下：
worker1
worker2
worker3
1.2.6 Hadoop与Spark的集群复制
前面完成了Master主机上Hadoop与Spark的搭建，现在我们将该环境及部分配置文件从Master分发到各个Worker节点上（以笔者环境为例）。在集群环境中，由一台主机向多台主机间的文件传输一般使用pssh工具来完成。为此，在Master上建立一个文件workerlist.txt，其中保存了所有Worker节点的IP，每次文件的分发只需要一行命令即可完成。
1） 复制JDK环境：
pssh -h
workerlist -r /usr/lib/jvm/java-1.7 /
2） 复制scala环境：
pssh -h
workerlist -r /usr/local/scala /
3） 复制Hadoop：
pssh -h
workerlist -r /usr/local/hadoop /
4） 复制Spark环境：
pssh -h
workerlist -r /usr/local/spark /
5） 复制系统配置文件：
pssh -h
workerlist /etc/hosts /
pssh -h
workerlist /etc/profile /
至此，Spark Linux集群环境搭建完毕。