3.1 安装Spark
如果读者还没有安装过Spark,可从http://spark.apache.org/downloads.html下载预先编译好的Spark包。在写本书时的发布版本为1.6.1。
图3-1 本章建议的下载链接http://spark.apache.org/downloads.html
读者也可通过下面的链接下载完整的源代码来构建Spark:
命令将下载必要的依赖并在Spark目录中创建spark-2.0.0-SNAPSHOT-bin-alex-spark-build-2.6-yarn.tgz文件,其版本是2.0.0,这是在写本书时最新的发行版本。一般来说,如果不是对最新功能感兴趣,不建议从主分支进行构建。如果需要一个发行版本,可以从相应标签迁出(checkout)。通过git branch -r命令可以获得有效版本的完整列表。spark*.tgz文件是在有Java JRE的计算机上运行Spark所需的所有文件。
发行版本都带有docs/building-spark.md文件,它介绍了用于构建Spark的其他选项,包括增量Scala编译器zinc。完整的Scala 2.11支持的功能会出现在Spark 2.0.0的下一个版本中。
时间: 2024-10-12 17:51:35