win7下运行的scala程序无法连接到Linux中的spark集群

问题描述

win7下运行的scala程序无法连接到Linux中的spark集群,老是报这样的错误:16/01/0610:59:32INFOAbstractConnector:StartedSelectChannelConnector@0.0.0.0:404016/01/0610:59:32INFOUtils:Successfullystartedservice'SparkUI'onport4040.16/01/0610:59:32INFOSparkUI:StartedSparkUIathttp://Silence-PC:404016/01/0610:59:32INFOAppClient$ClientActor:Connectingtomasterakka.tcp://sparkMaster@10.1.170.201:7077/user/Master...16/01/0610:59:33WARNReliableDeliverySupervisor:Associationwithremotesystem[akka.tcp://sparkMaster@10.1.170.201:7077]hasfailed,addressisnowgatedfor[5000]ms.Reasonis:[Disassociated].16/01/0610:59:52INFOAppClient$ClientActor:Connectingtomasterakka.tcp://sparkMaster@10.1.170.201:7077/user/Master...16/01/0610:59:52WARNReliableDeliverySupervisor:Associationwithremotesystem[akka.tcp://sparkMaster@10.1.170.201:7077]hasfailed,addressisnowgatedfor[5000]ms.Reasonis:[Disassociated].16/01/0611:00:12INFOAppClient$ClientActor:Connectingtomasterakka.tcp://sparkMaster@10.1.170.201:7077/user/Master...16/01/0611:00:12WARNReliableDeliverySupervisor:Associationwithremotesystem[akka.tcp://sparkMaster@10.1.170.201:7077]hasfailed,addressisnowgatedfor[5000]ms.Reasonis:[Disassociated].16/01/0611:00:32ERRORSparkDeploySchedulerBackend:Applicationhasbeenkilled.Reason:Allmastersareunresponsive!Givingup.16/01/0611:00:32WARNSparkDeploySchedulerBackend:ApplicationIDisnotinitializedyet.16/01/0611:00:32ERRORTaskSchedulerImpl:Exitingduetoerrorfromclusterscheduler:Allmastersareunresponsive!Givingup.

解决方案

解决方案二:
我也遇到了这个问题,怎么解决呀?我的IDEA连接集群就报这个错误,
解决方案三:
试试把$SPARK_HOME/conf/下,自己配置好的xml复制到项目的src/main/resources目录下(如果你的项目是基于mave构建的)。

时间: 2024-09-11 14:52:11

win7下运行的scala程序无法连接到Linux中的spark集群的相关文章

php-PHP网站在win7下运行错误

问题描述 PHP网站在win7下运行错误 如图,同事在linux下能正常运行.我在win7下就出错了.主要就是undefined index的错误.还有一个是yii应用程序只能被产生一次.能进网站的欢迎页.麻烦大家看看.谢谢了 解决方案 一般是文件夹权限或者是缺少某个模块. 解决方案二: 参考PHP Notice: undefined index 完美解决方法 定义一个函数: function _get($str){ $val = !empty($_GET[$str]) ? $_GET[$str

Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行

在进行实际的Spark应用程序开发时,常常会利用Window环境进行程序开发,开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行,本教程教将一步一步地教大家如何进行该操作.本教程主要内容如下: Window开发环境说明 Spark集群运行环境说明 Scala IDE For Eclipse中Spark程序开发 利用spark-submit脚本提交到Spark集群当中运行 Windows开发环境说明 (1)Scala-IDE eclipse ,版本号见下

Win7下运行游戏提示应用程序无法正常启动0xc00000d怎么办

  很多人都喜欢在win7系统中玩游戏,不过在玩游戏的过程中可能会碰到一些故障,比如有用户反映说在win7系统下运行某一款游戏的时候,突然提示应用程序无法正常启动,代码为0xc00000d,导致无法运行这个游戏,怎么办呢,下面给大家分享一下具体的解决步骤. 1.游戏必要的Directx没有安装或文件损坏,解决方法:尝试安装DirectX 9.0c ,虽然Win7系统自带Directx 11不过很多游戏仍然需要dircetx9.0C,当然文件要是损坏重新安装也是最好的修复方法; 2.如果安装了Di

MFC程序在Win7下运行正常,在XP下提示参数不正确,运行不了

问题描述 MFC程序在Win7下运行正常,在XP下提示参数不正确,运行不了,直接不运行,是怎么回事呐 解决方案 解决方案二:也许是DLL版本的问题解决方案三:静态编译试试解决方案四:可能是文件相对路径或者外部控件丢失的问题解决方案五:64bit32bit问题?具体错误是啥,贴出来看看.解决方案六:贴图.谁知道啥错了.大部分程序是没错的.八成是用到参数了.参数配置不对啊/////////////////////////////////////////////////////////////////

debug-VS2013下运行的MFC程序和直接从exe打开的不一样,是怎么回事,求大神解答

问题描述 VS2013下运行的MFC程序和直接从exe打开的不一样,是怎么回事,求大神解答 VS下运行时这样 然而直接从debug文件夹或者release文件夹下的exe打开是这样: 后者没有棋子,为什么会出现这种区别呢,打开的不都同一个文件吗?VS有特殊的技能? 解决方案 屏幕和资源文件的地方读取不一样 解决方案二: 恭喜.恭喜.恭喜.恭喜.

win7 下运行hadoop wordcount 出现下面问题是为啥啊 新人求教

问题描述 win7 下运行hadoop wordcount 出现下面问题是为啥啊 新人求教 期各位大神指教 我这纠结一个多星期了 拜托拜托 解决方案 Win7 运行Hadoop WordCount 报错

win7 下运行hadoop的workcount卡在了map0% reduce0% 求大神指教

问题描述 win7 下运行hadoop的workcount卡在了map0% reduce0% 求大神指教 刚刚安装好Hadoop 就想用自带的WORDCOUNT这个程序检验一下好不好使就卡主了 求大神帮忙 愁了一个星期了 拜托拜托 解决方案 估计要使用64位的native-hadoop lib?

很惭愧的求c#写的可以在VS2005下运行的 五子棋程序

问题描述 很惭愧在这里求一套c#写的可以在VS2005下运行的五子棋程序用与毕业设计希望大家不要鄙视我我真的对这个专业没有太浓的兴趣知道自己不适合学这个专业跟老师谈换专业不准所以大学期间没怎么认真学专业知识现在实习的是我一直想从事的外贸方面的工作平时真的没有时间帮帮我有的源代码的话发一套过来wangtuotuo0606@163.com谢谢QQ109124064如果能帮忙完成毕业设计更好当然我会给相应的报酬 解决方案 解决方案二:......

Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)

接上一篇:http://www.aliyun.com/zixun/aggregation/13383.html">Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1) 2.安装rsync 我们的Ubuntu 12.10版本默认安装了rsync,我们可以通过以下命令来安装或者更新rsync 3.安装hadoop,家林把下载下来的最新稳定版本的hadoop保存在电脑本地的以下位置: 创建/usr/local/hadoop目录并把下载下来的Hadoop解压/