Spark在Driver机器上(不同于Master)应该如何调试?

问题描述

自己用Hyper-V部署了3个虚拟机(ubuntu系统),1个Master+2个Slaves,分别是stPC1,stPC2,stPC3。另外在宿主机器(windows系统)stang491上部署Eclipse开发环境。在宿主机器上已经成功实现了Java语言开发调试WordCount,用到了addJar()方法来将宿主Driver上的WordCount.jar发送给Master,使其能将WordCount包分发给Slaves。但是当Driver上的开发语言变为scala时,同样的集群同样的配置文件,同样的runconfiguration,唯一不同的只有语言,结果Eclipse里点击run就报下面的错误:WARNTaskSchedulerImpl:Initialjobhasnotacceptedanyresources;checkyourclusterUItoensurethatworkersareregisteredandhavesufficientmemory内存肯定是够的,应该是ip配置出错,但是Master与Driver的ip都写在master与slaves的hosts里了,而且Java可以正常调试,不知道为啥换了scala上就出问题了。

解决方案

解决方案二:
谢谢楼主,很有帮助!
解决方案三:
看看,学些了

时间: 2024-09-09 16:46:39

Spark在Driver机器上(不同于Master)应该如何调试?的相关文章

【Spark Summit EU 2016】在多核机器上提升Spark性能

本讲义出自Qifan Pu在Spark Summit EU 2016上的演讲,主要介绍了如何在多核机器上提升Spark的性能表现以及如何研究和实现内存shuffle. 因为Spark开始时是作为集群计算框架出现的,所以产生了多核机器上关于Spark的性能表现的研究,Spark的设计是基于多计算节点的,本讲义中Qifan Pu着重探讨了数据交互也就是shuffle.

如何在你的Linux机器上安装运行Oracle jdbc:thin with java (OAS) DBA

oracle  如何在你的Linux机器上安装运行Oracle 开始行动 在RedHat上安装Oracle可以是相当轻而易举的,但要是完全跟着Oracle公司的文档走就未必那么容易了 .最快的捷径是Tom Bisset的主页:http://jordan.fortwayne.com/oracle. 如果您看了Tom的主页,那么您会注意到他漏了JDBC的安装.如果您准备使用JDBC(对于跨平台的Oracle应用十分方便),只需在安装屏幕要求您选择组件(components)时,加上该选项即可.当然,

在同一台机器上运行多个MySQL服务器

    有些情况下你可能想要在同一台机器上运行多个服务器.例如,你可能想要测试一个新的MySQL版本而让你现有生产系统的设置不受到干扰, 或你可能是想要为不同的客户提供独立的MySQL安装一个因特网服务供应商. 如果你想要运行多个服务器,最容易的方法是用不同的TCP/IP端口和套接字文件重新编译服务器,因此他们不是侦听同一个TCP/IP端口或套接字. 假设一个现存服务器配置为缺省端口号和套接字文件, 那么用一个这样configure命令行设置新的服务器: shell> ./configure -

如何从k8s集群外的机器上调用k8s的API(可调用多个k8s的apiserver)

因为公司项目需要,k8s的集群管理由其它人负责,而我们的自动化部署平台需要从k8s集群外的机器上调用k8s主节点的apiserver提供的API. 由于集群是用kubeadm安装的,证书验证齐全,那么,调用API时,只能通过kubectl proxy的方式进行调用管理. 操作步骤如下:   一,在集群外的机器上安装好kubectl的rpm包. rpm -ivh kubectl-1.7.0-0.x86_64.rpm 二,将k8s上在安装过程中生成的config文件重命名,CP到操作用户的家目录的.

把.NET程序部署到没有安装.NET Framwork的机器上

程序 目录 本文内容 制作自己的安装程序 发布.NET Framework 制作自己的native安装程序 使用方法 总结 作者 -------------------------------------------------------------------------------- 本文内容 1. 使用VS.NET来制作安装程序. 2. 如何把.NET Framework 部署到目标机器. 3. 如何使用Native代码把.NET Framework和自己的安装程序制作为一个统一的安装程

一台Linux或UNIX机器上设置多个DB2系统

在DB2 for Linux, UNIX,和Windows Version 8之前,SAP客户只能在一台物理机器上安装每个DB2 版本的一个拷贝,因为安装路径是硬编码的.尽管 DB2 Version 8 提供了替换的修订包映像,但是这些映像只用于测试,在生产环境中 SAP 不支持它们. 对于 DB2 9,客户可以在一台物理机器上安装多个 DB2 软件拷贝.数据库的安装是相互独立的.它们可以是不同级别的,可以安装在任何有效路径上.每个拷贝可以独立更新,而不会相互影响.所有装有 DB2 9 的 SA

在已安装Windowns XP机器上再安装Windows 2000

由于Windows XP在Windows 2000之后发布,通常软件都不会与将来的版本兼容,如果由于某些原因在已成功安装Windowns XP的机器上再安装Windows 2000,后者将会覆盖硬盘的主引导扇区及系统盘目录下的系统文件,造成之前安装的Windows XP无法启动.通常会报: Starting Windows... Windows 2000 could not start because the following file is missing or corrupt:\WINDO

在关闭的Linux机器上实现防火墙功能

一次在网上闲逛,突然看到论坛有一条消息说有一种方法,可以让已经关闭的Linux机器继续运行ipchains,并且让这台机器继续实现防火墙的功能.当时我的第一反映是不屑一顾,难道一个防火墙还可以在关机的状态下工作?依照论坛中所指的链接,我找到了一个帖子,上面说在2.0.x内核中,使用Shutdown ?h(关机)命令可以使防火墙仍处于激活状态,而此时没有挂载驱动器,也没有进程在运行.也就是说防火墙将在Level 0下运行,但仍然可以进行包过滤.不过,贴子说该功能在2.2.x系统的内核中已经不具备了

VS2008编译的程序在某些机器上运行提示“由于应用程序配置不正确,应用程序未能启动”的问题

  使用VS2008编译了一个程序,使用到自己编译的DLL,丢到某些机子上无法运行,提示"由于应用程序配置不正确,应用程序未能启动"的错误,装了vcredist_x86也没有用,开始以为是DLL的问题,后来换个简单的程序,仍然不行,百撕不得其解,后来上网找,下面有说了很多解决办法.         我最终的解决办法是复制本机中的.manifest文件,修改里面的版本号,复制到提示错误的机子上,与可执行程序放在同一目录就可以了.在计算机中管理的系统工具,事件查看器可以查看应用程序的消息,