《循序渐进学Spark》一1.3　Spark 集群试运行

1.3　Spark 集群试运行

下面试运行Spark。

1）在Master主机上，分别启动Hadoop与Spark。

cd
/usr/local/hadoop/sbin/

./start-all.sh

cd
/usr/local/spark/sbin

./start-all.sh

2） 检查Master与Worker进程是否在各自节点上启动。在Master主机上，执行命令 jps，如图1-5所示。

在Worker节点上，以Worker1为例，执行命令jps，如图1-6所示。

从图1-6中可以清晰地看到，Master进程与Worker及相关进程在各自节点上成功运行，Hadoop与Spark运行正常。

3） 通过Spark Web UI查看集群状态。在浏览器中输入Master的IP与端口，打开Spark Web UI，如图1-7所示。

从图1-7中可以看到，当集群内仅有一个Worker节点时，Spark Web UI显示该节点处于Alive状态，CPU Cores为1，内存为1GB。 此页面会列出集群中所有启动后的Worker节点及应用的信息。

图1-7　Spark Web UI界面

4） 运行样例。Spark自带了一些样例程序可供试运行。在Spark根目录下，example/src/main文件夹中存放着Scala、Java、Python及用R语言编写的样例，用户可以运行其中的某个样例程序。先拷贝到Spark根目录下，然后执行bin/run-example
[class] [params]即可。例如可以在Master主机命令行执行：

./run-example
SparkPi 10

然后可以看到该应用的输出，在Spark Web UI上也可以查看应用的状态及其他信息。