《循序渐进学Spark》一 1.4 Intellij IDEA的安装与配置

1.4 Intellij IDEA的安装与配置

Intellij IDE是目前最流行的Spark开发环境。本节主要介绍Intellij开发工具的安装与配置。Intellij不但可以开发Spark应用,还可以作为Spark源代码的阅读器。

1.4.1 Intellij的安装

Intellij开发环境依赖JDK、Scala。

1. JDK的安装

Intellij IDE需要安装JDK 1.7或更高版本。Open JDK1.7的安装与配置前文中已讲过,这里不再赘述。

2. Scala的安装

Scala的安装与配置前文已讲过,此处不再赘述。

3. Intellij的安装

登录Intellij官方网站(http://www.jetbrains.com/idea/)下载最新版Intellij linux安装包ideaIC-14.1.5.tar.gz,然后执行如下步骤:

1)解压: tar zxvf ideaIC-14.1.5.tar.gz -C /usr/

2)运行: 到解压后的目录执行
./idea.sh

3)安装Scala插件:打开“File”→“Settings”→“Plugins”→“Install JetBrain plugin”运行后弹出如图1-8所示的对话框。

单击右侧Install plugin开始安装Scala插件。

1.4.2 Intellij的配置

1)在Intellij IDEA中新建Scala项目,命名为“HelloScala”,如图1-9所示。

2)选择菜单“File”→“Project Structure”→“Libraries”,单击“+”号,选择

“java”,定位至前面Spark根目录下的lib目录,选中spark-assembly-1.5.0-hadoop2.6.0.jar,单击OK按钮。

3)与上一步相同,单击“+”号,选择“scala”,然后定位至前面已安装的scala目录,scala相关库会被自动引用。

4) 选择菜单“File”→“Project Structure”→“Platform Settings”→“SDKs”,单击“+”号,选择JDK,定位至JDK安装目录,单击OK按钮。

至此,Intellij IDEA开发环境配置完毕,用户可以用它开发自己的Spark程序了。

 

时间: 2024-08-02 19:04:25

《循序渐进学Spark》一 1.4 Intellij IDEA的安装与配置的相关文章

《循序渐进学Spark 》Spark 编程模型

本节书摘来自华章出版社<循序渐进学Spark >一书中的第1章,第3节,作者 小象学院 杨 磊,更多章节内容可以访问"华章计算机"公众号查看. Spark机制原理 本书前面几章分别介绍了Spark的生态系统.Spark运行模式及Spark的核心概念RDD和基本算子操作等重要基础知识.本章重点讲解Spark的主要机制原理,因为这是Spark程序得以高效执行的核心.本章先从Application.job.stage和task等层次阐述Spark的调度逻辑,并且介绍FIFO.FA

《循序渐进学Spark》一第2章

 本节书摘来自华章出版社<循序渐进学Spark>一书中的第2章,第2.1节,作者 小象学院 杨 磊,更多章节内容可以访问"华章计算机"公众号查看. 第2章 Spark 编程模型 与Hadoop相比,Spark最初为提升性能而诞生.Spark是Hadoop MapReduce的演化和改进,并兼容了一些数据库的基本思想,可以说,Spark一开始就站在Hadoop与数据库这两个巨人的肩膀上.同时,Spark依靠Scala强大的函数式编程Actor通信模式.闭包.容器.泛型,并借助

《循序渐进学Spark》一2.3 Spark算子

 本节书摘来自华章出版社<循序渐进学Spark>一书中的第2章,第2.3节,作者 小象学院 杨 磊,更多章节内容可以访问"华章计算机"公众号查看. 2.3 Spark算子 本节介绍Spark算子的分类及其功能. 2.3.1 算子简介 Spark应用程序的本质,无非是把需要处理的数据转换为RDD,然后将RDD通过一系列变换(transformation)和操作(action)得到结果,简单来说,这些变换和操作即为算子. Spark支持的主要算子如图2-4所示. 根据所处理的数

《循序渐进学Spark》一导读

Preface 前 言 Spark诞生于美国加州大学伯克利分校AMP实验室.随着大数据技术在互联网.金融等领域的突破式进展,Spark在近些年得到更为广泛的应用.这是一个核心贡献者超过一半为华人的大数据平台开源项目,且正处于飞速发展.快速成熟的阶段. 为什么写这本书 Spark已经成为大数据计算.分析领域新的热点和发展方向.相对于Hadoop传统的MapReduce计算模型,Spark提供更为高效的计算框架以及更为丰富的功能,因此在大数据生产应用领域中不断攻城略地,势如破竹. 与企业不断涌现的对

《循序渐进学Spark 》Spark架构与集群环境

Spark架构与集群环境 本章首先介绍Spark大数据处理框架的基本概念,然后介绍Spark生态系统的主要组成部分,包括Spark SQL.Spark Streaming.MLlib和GraphX,接着简要描述了Spark的架构,便于读者认识和把握,最后描述了Spark集群环境搭建及Spark开发环境的构建方法. 1.1 Spark概述与架构 随着互联网规模的爆发式增长,不断增加的数据量要求应用程序能够延伸到更大的集群中去计算.与单台机器计算不同,集群计算引发了几个关键问题,如集群计算资源的共享

《循序渐进学Spark 》导读

目 录 前 言 第1章 Spark架构与集群环境    1.1 Spark概述与架构     1.1.1 Spark概述     1.1.2 Spark生态     1.1.3 Spark架构     1.2 在Linux集群上部署Spark     1.2.1 安装OpenJDK     1.2.2 安装Scala     1.2.3 配置SSH免密码登录     1.2.4 Hadoop的安装配置     1.2.5 Spark的安装部署     1.2.6 Hadoop与Spark的集群复

《循序渐进学Spark》一1.2 在Linux集群上部署Spark

1.2 在Linux集群上部署Spark Spark安装部署比较简单,用户可以登录其官方网站(http://spark.apache.org/downloads.html)下载Spark最新版本或历史版本,也可以查阅Spark相关文档作为参考.本书开始写作时,Spark刚刚发布1.5.0版,因此本章所述的环境搭建均以Spark 1.5.0版为例. Spark使用了Hadoop的HDFS作为持久化存储层,因此安装Spark时,应先安装与Spark版本相兼容的Hadoop. 本节以阿里云Linux主

《循序渐进学Spark》一1.5 Eclipse IDE的安装与配置

1.5 Eclipse IDE的安装与配置 现在介绍如何安装Eclipse.与Intellij IDEA类似,Eclipse环境依赖于JDK与Scala的安装.JDK与Scala的安装前文已经详细讲述过了,在此不再赘述. 对最初需要为Ecplise选择版本号完全对应的Scala插件才可以新建Scala项目.不过自从有了Scala IDE工具,问题大大简化了.因为Scala IDE中集成的Eclipse已经替我们完成了前面的工作,用户可以直接登录官网(http://scala-ide.org/do

《循序渐进学Spark》一第3章

第3章 Spark机制原理 本书前面几章分别介绍了Spark的生态系统.Spark运行模式及Spark的核心概念RDD和基本算子操作等重要基础知识.本章重点讲解Spark的主要机制原理,因为这是Spark程序得以高效执行的核心.本章先从Application.job.stage和task等层次阐述Spark的调度逻辑,并且介绍FIFO.FAIR等经典算法,然后对Spark的重要组成模块:I/O与通信控制模块.容错模块及Shuffle模块做了深入的阐述.其中,在Spark I/O模块中,数据以数据