spark安装问题

问题描述

问题:安装了SPARK1.5.1,但就是启动报错,请大家帮忙指导下。报错信息:[root@Mastersbin]#./start-all.shstartingorg.apache.spark.deploy.master.Master,loggingto/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-Master.Hadoop.outfailedtolaunchorg.apache.spark.deploy.master.Master:/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../bin/spark-class:line78:cygpath:commandnotfound错误:找不到或无法加载主类org.apache.spark.deploy.master.Masterfulllogin/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-Master.Hadoop.outSlave2.Hadoop:startingorg.apache.spark.deploy.worker.Worker,loggingto/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Slave2.Hadoop.outMaster.Hadoop:startingorg.apache.spark.deploy.worker.Worker,loggingto/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Master.Hadoop.outSlave1.Hadoop:startingorg.apache.spark.deploy.worker.Worker,loggingto/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Slave1.Hadoop.outSlave2.Hadoop:failedtolaunchorg.apache.spark.deploy.worker.Worker:Slave2.Hadoop:错误:找不到或无法加载主类org.apache.spark.launcher.MainSlave2.Hadoop:fulllogin/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Slave2.Hadoop.outMaster.Hadoop:failedtolaunchorg.apache.spark.deploy.worker.Worker:Master.Hadoop:/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../bin/spark-class:line78:cygpath:commandnotfoundMaster.Hadoop:错误:找不到或无法加载主类org.apache.spark.deploy.worker.WorkerMaster.Hadoop:fulllogin/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Master.Hadoop.outSlave1.Hadoop:failedtolaunchorg.apache.spark.deploy.worker.Worker:Slave1.Hadoop:错误:找不到或无法加载主类org.apache.spark.launcher.MainSlave1.Hadoop:fulllogin/usr/local/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Slave1.Hadoop.out环境:exportJAVA_HOME=/usr/jdk1.7.0_05exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportJAVA_OPTS="-Xms512M-Xmx1024M"exportCATALINA_OPTS="-Djava.awt.headless=true"HADOOP_HOME=/opt/spark/hadoop-2.7.1SCALA_HOME=/usr/local/scala/scala-2.11.7SPARK_HOME=/usr/local/spark/spark-1.5.1-bin-hadoop2.6exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATHexportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexportHADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

解决方案

解决方案二:
请问解决了没?我一出现这个问题,求指导
解决方案三:
failedtolaunchorg.apache.spark.deploy.master.Master:你这是master就没起来,所以后面的都有问题了
解决方案四:
CLASS_PATH里面,增加下spark的jar包路径试试
解决方案五:
/想问一下楼主,这个问题解决来么?怎么解决的?麻烦来
解决方案六:
SPARK_HOME/sbin加入PATH路径

时间: 2024-08-01 16:21:00

spark安装问题的相关文章

Spark 安装配置简单测试

简介 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点:但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法. Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之

Hive on Spark安装配置详解

可进入我的博客查看原文. 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比Ma

单节点伪分布式spark安装

问题描述 单节点伪分布式spark安装 wordcount.take()括号中的参数怎么确定??? 解决方案 安装单节点伪分布式 CDH hadoop 集群Linux下单节点Hadoop伪分布式安装单节点伪分布式hadoop的安装与配置

java hadoop 云计算-spark安装过程求详解。。。。。。

问题描述 spark安装过程求详解...... 求教大神给我介绍spark环境如何搭建.....................

Spark语言的安装部署

Spark是UC Berkeley AMPLab开发的类MapRed计算框架.MapRed框架适用于batch job,但是由于它自身的框架限制,第一,pull-based heartbeat作业调度.第二,shuffle中间结果全部落地disk,导致了高延迟,启动开销很大.而Spark是为迭代式,交互式计算所生的.第一,它采用了actor model的akka作为通讯框架.第二,它使用了RDD分布式内存,操作之间的数据不需要dump到磁盘上,而是通过RDD Partition分布在各个节点内存

Spark简介及其在ubuntu下的安装使用

Spark概述 Spark是一种与 Hadoop 相似的开源集群计算环境,在性能和迭代计算上很有看点,现在是Apache孵化的顶级项目吧.Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的.低延迟的数据分析应用程序.Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载.Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架,而Scala的语

Spark集群安装和使用

本文主要记录 CDH5 集群中 Spark 集群模式的安装过程配置过程并测试 Spark 的一些基本使用方法. 安装环境如下: 操作系统:CentOs 6.5 Hadoop 版本:cdh-5.4.0 Spark 版本:cdh5-1.3.0_5.4.0 关于 yum 源的配置以及 Hadoop 集群的安装,请参考 使用yum安装CDH Hadoop集群. 1. 安装 首先查看 Spark 相关的包有哪些: $ yum list |grep spark spark-core.noarch 1.3.0

Spark随谈(二)—— 安装攻略

本来安装这件事情,不用单独开一篇谈的.但是Spark的安装实在是一件点蛋疼的事情,这和Spark的语言和框架两者有颇大的关系. Spark是Scala语言写的,所以要先安装Java和Scala,而底层的调度框架是Mesos,Mesos是C++写的,所以又对机器的glibc和gcc环境有一定的要求.装好了Mesos和Spark,还要把2者衔接起来,版本要选择正确,这几个步骤,中间任何一步错了都Spark都不能以集群方式正常运行,所以Spark的安装,还是颇有点周折的,在这里把完整的过程记录下来,包

Spark配置参数

以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration. Spark提供三个位置用来配置系统: Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置 环境变量:可以通过每个节点的 conf/spark-env.sh脚本设置.例如IP地址.端口等信息 日志配置:可以通过log4j.properties配置 Spark属性 Spark属性控制大部分的应用程序设置,并且为每个应用程序分别配置它.这些属性可以直接在Spark