./spark-shell:line44:6609Killed"${SPARK_HOME}"/bin/spark-submit--class

./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class

今天一直遇到spark异常,从来没有见到过这种异常,百度搜索也总是搜索不到,只能一个一个改配置文件,我以前的配置文件是配置了

HADOOP_CONF_DIR=/root/hadoop-2.7.3/etc/hadoop

export JAVA_HOME=/root/local/jdk1.8

SPARK_MASTER_HOST=master

SPARK_MASTER_PORT=7077

但是一直报错,我查询了很多资料都没有说这样配置错误,但是运行./start-all.sh时没错,一旦运行./spark-shell命令时就崩溃了,连namenode也一起崩了。

解决:

我后来把配置文件都删了只留下一个HADOOP_CONF_DIR配置就可以运行了,感觉到很奇怪。

时间: 2024-08-11 17:29:37

./spark-shell:line44:6609Killed"${SPARK_HOME}"/bin/spark-submit--class的相关文章

《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序

3.1 使用Spark Shell编写程序 要学习Spark程序开发,建议首先通过spark-shell交互式学习,加深对Spark程序开发的理解.spark-shell提供了一种学习API的简单方式,以及一个能够交互式分析数据的强大工具,在Scala语言环境下(Scala运行于Java虚拟机,因此能有效使用现有的Java库)或Python语言环境下均可使用.3.1.1 启动Spark Shell 在spark-shell中,已经创建了一个名为sc的SparkContext对象,如在4个CPU核

Spark源码分析之Spark Shell(上)

终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧.不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的.另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找源码入口. 先来介绍一下Spark-shell是什么? Spark-shell是提供给用户即时交互的一个命令窗口,你可以在里面编写spark代码,然后根据你的命令立即进行运算.这种东西也被叫做REPL,(Read-Eval-Print Loop)交互式开发环境. 先来粗略的

Spark源码分析之Spark Shell(下)

继上次的Spark-shell脚本源码分析,还剩下后面半段.由于上次涉及了不少shell的基本内容,因此就把trap和stty放在这篇来讲述. 上篇回顾:Spark源码分析之Spark Shell(上) function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/40/). # If you're us

Apache Spark源码走读(四)Hive on Spark运行环境搭建 &hiveql on spark实现详解

<一>Hive on Spark运行环境搭建 楔子 Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析.由于这一特性而收到广泛的欢迎. Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意.由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就

Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行

在进行实际的Spark应用程序开发时,常常会利用Window环境进行程序开发,开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行,本教程教将一步一步地教大家如何进行该操作.本教程主要内容如下: Window开发环境说明 Spark集群运行环境说明 Scala IDE For Eclipse中Spark程序开发 利用spark-submit脚本提交到Spark集群当中运行 Windows开发环境说明 (1)Scala-IDE eclipse ,版本号见下

《循序渐进学Spark》一1.3 Spark 集群试运行

1.3 Spark 集群试运行 下面试运行Spark. 1)在Master主机上,分别启动Hadoop与Spark. cd /usr/local/hadoop/sbin/ ./start-all.sh cd /usr/local/spark/sbin ./start-all.sh 2) 检查Master与Worker进程是否在各自节点上启动.在Master主机上,执行命令 jps,如图1-5所示. 在Worker节点上,以Worker1为例,执行命令jps,如图1-6所示. 从图1-6中可以清晰

《Spark官方文档》提交Spark应用

提交Spark应用 spark-submit脚本在Spark的bin目录下,可以利用此脚本向集群提交Spark应用.该脚本为所有Spark所支持的集群管理器( cluster managers)提供了统一的接口,因此,你基本上可以用同样的配置和脚本,向不同类型的集群管理器提交你的应用. 打包应用程序依赖 如果你的代码依赖于其他工程,那么你需要把依赖项也打包进来,并发布给Spark集群.这需要创建一个程序集jar包(或者uber jar),包含你自己的代码,同时也包含其依赖项.sbt and Ma

《循序渐进学Spark》一 3.4 Spark通信机制

3.4 Spark通信机制 前面介绍过,Spark的部署模式可以分为local.standalone.Mesos.YARN等. 本节以Spark部署在standalone模式下为例,介绍Spark的通信机制(其他模式类似). 3.4.1 分布式通信方式 先介绍分布式通信的几种基本方式. 1. RPC 远程过程调用协议(Remote Procedure Call Protocol,RPC)是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议.RPC假定某些传输协议的存在,如TC

《循序渐进学Spark》一3.2 Spark调度机制

3.2 Spark调度机制 Spark调度机制是保证Spark应用高效执行的关键.本节从Application.job.stage和task的维度,从上层到底层来一步一步揭示Spark的调度策略. 3.2.1 Application的调度 Spark中,每个Application对应一个SparkContext.SparkContext之间的调度关系取决于Spark的运行模式.对Standalone模式而言,Spark Master节点先计算集群内的计算资源能否满足等待队列中的应用对内存和CPU