使用Zeppelin代替spark-shell

部署

把下载的bin-all.tgz上传到服务器,解压放到自己常用的目录下。
为了使用spark.read.jdbc功能,需要上传一份mysql connector jar到lib/interpreter下,否则spark执行会报错。

启动

使用bin/zeppelin-daemon.sh start启动后台服务
然后使用bin/zeppelin.sh启动web端

这样在服务器的8080端口就可以看见应用界面

设置

我们需要设置到spark的连接,通过右上方的下拉菜单“Interpreter”进入适配器管理界面,设置好到spark集群的连接,然后把这个适配器重启一下。

使用

通过“Create new note”建立一个便签,便签的执行单位是段,每段的右上角都有执行、展示隐藏代码、展示隐藏输出,更多操作的工具条。这里每段的代码就和写在spark-shell里面的一样。

最后输出的时候需要注意,为了使用zeppelin的数据可视化功能,推荐以table形式输出,同时组织好输出数据的关系,以便直接展示。现在数据可视化的功能还不是太强大,只可以在settings里面调整数据展示的逻辑。

最后效果展示,这是某系统中各个地点的重量级别发生次数的分布图。

图示略有交互性,可以选择展示的和隐藏的groups,通过图示上方的小圆圈选中与否控制,为了保护数据隐私,这里不作展示。

安全

zeppelin默认任何人都可以访问,这样太不安全了,所以需要加上一点保障,一方面是用户登录权限,一方面是文档的读写权限。
官方的说明页面在此:登录权限,文档权限
首先在zeppelin/conf目录下,把zeppelin-site.xml.template复制成zeppelin-site.xml,把shiro.ini.template复制成shiro.ini。
修改zeppelin-site.xml,把zeppelin.anonymous.allowed的值改成false

保存退出。
然后修改shiro.ini。在[users]段中,按照登录名=密码,角色1,角色2,...角色N的格式添加登录账户,保存退出。
终端里面执行脚本,重启后台服务:
zeppelin-daemon.sh restart
然后刷新网页就可以看到需要登录了。
文档的权限是进入zeppeline后在文档的编辑界面上设置的,参见官方文档的图示,非常简单。

时间: 2024-07-30 14:41:48

使用Zeppelin代替spark-shell的相关文章

《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序

3.1 使用Spark Shell编写程序 要学习Spark程序开发,建议首先通过spark-shell交互式学习,加深对Spark程序开发的理解.spark-shell提供了一种学习API的简单方式,以及一个能够交互式分析数据的强大工具,在Scala语言环境下(Scala运行于Java虚拟机,因此能有效使用现有的Java库)或Python语言环境下均可使用.3.1.1 启动Spark Shell 在spark-shell中,已经创建了一个名为sc的SparkContext对象,如在4个CPU核

Spark源码分析之Spark Shell(上)

终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧.不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的.另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找源码入口. 先来介绍一下Spark-shell是什么? Spark-shell是提供给用户即时交互的一个命令窗口,你可以在里面编写spark代码,然后根据你的命令立即进行运算.这种东西也被叫做REPL,(Read-Eval-Print Loop)交互式开发环境. 先来粗略的

Spark源码分析之Spark Shell(下)

继上次的Spark-shell脚本源码分析,还剩下后面半段.由于上次涉及了不少shell的基本内容,因此就把trap和stty放在这篇来讲述. 上篇回顾:Spark源码分析之Spark Shell(上) function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/40/). # If you're us

【Hadoop Summit Tokyo 2016】使Apache Zeppelin与Spark赋能企业数据科学

本讲义出自Bikas Saha在Hadoop Summit Tokyo 2016上的演讲,主要分享了如何使得数据科学在企业中变得容易实现以及目前企业中实现数据科学所面临的的挑战,并分享了在企业中如何使用Apache Zeppelin以及企业中数据科学的未来的发展规划.

让Spark如虎添翼的Zeppelin – 基础篇

Spark 是一个非常好的计算平台,支持多种语言,同时基于内存的计算速度也非常快.整个开源社区也很活跃. 但是Spark在易用性上面还是有一些美中不足. 对于刚接触的人来说,上手以及环境搭建还是有一些困难. 另外,如果希望将结果绘制成图表分享给别人,还需要很长一段路程. 目前已经有一些解决方案: [TBD]Jupyter Notebook 使用很广泛,但是看起来主要还是以前ipython-notebook的增强版. 目前笔者对其了解不多 Spark 母公司DataBricks提供的DataBri

Apache Zeppelin安装及介绍

背景 Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化.背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等.它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo. Mac OS上安装 目前github上,zeppelin版本是0.5.0,没用预先编译好的包提供下载.安装文档:http://zeppelin.inc

《Spark与Hadoop大数据分析》——导读

前 言 本书讲解了Apache Spark和Hadoop的基础知识,以及如何通过简单的方式将它们与最常用的工具和技术集成在一起.所有Spark组件(Spark Core.Spark SQL.DataFrame.Dataset.Conventional Streaming.Structured Streaming.MLlib.GraphX和Hadoop核心组件).HDFS.MapReduce和Yarn 都在 Spark + Hadoop 集群的实现示例中进行了深入的探讨. 大数据分析行业正在从 M

Spark配置参数

以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration. Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置 环境变量:可以通过每个节点的 conf/spark-env.sh脚本设置.例如IP地址.端口等信息 日志配置:可以通过log4j.properties配置 Spark属性 Spark属性控制大部分的应用程序设置,并且为每个应用程序分别配置它.这些属性可以直接在Spark

spark概述与编程模型

spark快的原因1.内存计算 2.DAG spark shell已经初始化好了SparkContext,直接用sc调用即可 lineage 血统 RDD wide and narrow dependencies 窄依赖每个 RDD partition最多被一个子RDD partirion依赖 /sbin(system binary)放的都是涉及系统管理的命令.有些系统里面,普通用户没有执行这些命令的权限.有些系统里面,普通用户的PATH不包括/sbin data.cache  数据放到内存中

《深入理解SPARK:核心思想与源码分析》(第1章)

       自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的<深入理解Spark:核心思想与源码分析>一书现在已经正式出版上市,目前亚马逊.京东.当当.天猫等网站均有销售,欢迎感兴趣的同学购买.我开始研究源码时的Spark版本是1.2.0,经过7个多月的研究和出版社近4个月的流程,Spark自身的版本迭代也很快,如今最新已经是1.6.0.目前市面上另外2本源码研究的Spark书籍的版本分别是0.9.0版本和1.2.0版本,看来这些书的作者都与我一样,遇到了这种问