spark-shell的结构框架，新人求助贴

问题描述

情况是这样的：我有五台服务器搭建了一个cdh的集群，分别是从nana1到nana5，因为是chd自动搭建的平台，nana1为主节点配置如下：其余节点配置如下：那么问题来了：我有四个datanode，我现在使用spark-shell的时候，想让这四个datanode都成为worker节点，这四个节点一起工作分析任务。所以我在cm中配置如下：我的理想是启动时候四个节点都乖乖的成为worker，他们四个干活，nana1挥着鞭子指挥他们。但是，理想始终像被汪啃了一块，当我启动spark-shell的时候，启动配置如下：nana1是BlockManager，nana2是ApplicationMaster，nana3到nana5是worker这TM的不科学那么问题来了，请问各位大神：1.spark的结构配置就是这样的么，一个blockmanager,一个applicationMaster，其余的才是worker？2.如果我想改变这样的配置，让nana2-5成为worker，nana1自己去管理，这样的方案可行么？3.如果2可行，那么，请问具体怎么配置？谢谢各位大神。。。。

解决方案

时间： 2024-10-11 05:14:23

spark-shell的结构框架，新人求助贴的相关文章

mysql-Java入门新人求助:Js中表格如何实现保存删除这两个功能?请举例说明

问题描述 Java入门新人求助:Js中表格如何实现保存删除这两个功能?请举例说明 做了一个网页,具有登录功能,其中welcome.jsp为登陆成功后的页面,那么问题来了,我新建了一个表格,如何让这个表格可以进行保存删除这两种操作?请举例说明,谢谢. 解决方案 JS:function del(r) { var i = r.parentNode.parentNode.rowIndex; alert(r.parentNode.parentNode.rowIndex); document.getElem

c语言-俄罗斯方块C语言 12列改为10列后出错，新人求助！

问题描述 俄罗斯方块C语言 12列改为10列后出错,新人求助! #include #include #include #include #include #include #ifdef _MSC_VER // M$的编译器要给予特殊照顾 #if _MSC_VER <= 1200 // VC6及以下版本 #error 你是不是还在用VC6?! #else // VC6以上版本 #if _MSC_VER >= 1600 // 据说VC10及以上版本有stdint.h了 #include #else

Spark源码分析之Spark Shell（上）

终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧.不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的.另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找源码入口. 先来介绍一下Spark-shell是什么? Spark-shell是提供给用户即时交互的一个命令窗口,你可以在里面编写spark代码,然后根据你的命令立即进行运算.这种东西也被叫做REPL,(Read-Eval-Print Loop)交互式开发环境. 先来粗略的

要求在这里-java分割字符串新人求助

问题描述 java分割字符串新人求助 解决方案 String a=""abcd.e.fg""; String[] ss = a.split(""[.]""); for(String i : ss) System.out.println(i); 解决方案二: String[] s=""ab.cd"".split(""\.|); for (String o : s) {

线程-新人求助关于java.lang.StackOverflowError的异常问题

问题描述 新人求助关于java.lang.StackOverflowError的异常问题 public class ProcessRow { Properties source= new Properties(); { try { FileInputStream fis = new FileInputStream(new File( inputPropertieName())); InputStreamReader isr = new InputStreamReader(fis, "UTF-8&

函数调用-新人求助 vb.net+access数据库编写电话簿，调用添加和删除函数，调试都卡住了。

问题描述 新人求助 vb.net+access数据库编写电话簿,调用添加和删除函数,调试都卡住了. 添加函数: '写一个添加用户信息的方法,它的返回值是布尔型, Function AddUser(ByVal User As DBuser) As Boolean '首先判断用户名是否已经存在 Dim SQLString As String SQLString = "SELECT * FROM telephonebook WHERE 姓名 ='" & nm & "

设计-快来啊！！！！新人求助！！！

问题描述 快来啊!!!!新人求助!!! 求告知这段话的详细解析.正好在做这个课程设计.谢谢啦. MOV AL,0B6H OUT 43H,AL MOV DX,12H MOV AX,348ch DIV DI OUT 42H,AL MOV AL,AH OUT 42H,AL IN AL,61H MOV AH,AL OR AL,3 OUT 61H,AL 解决方案 得,都出来汇编了.哎,这么多年没用了,寄存器还有点印象. 查一下书就可以了吧. 解决方案二: 还是翻翻书,看看MOV OUT DIV等语句的作用

c++基础-新人求助！记录程序时间出错

问题描述 新人求助!记录程序时间出错 #include #include #include #include"sort.h" using namespace std; int main() { int choice, n, i, j; DWORD start, end; while(1) { cout << "输入数据的方式:" << endl; cout << "1.手动输入" << endl;

sql 报错——新人求助（C币不足不好意思）

问题描述 sql 报错--新人求助(C币不足不好意思) 1C select rownum t.XZQ t.JBR t.RQ t.JBZYWT t.JSR t.JLR t.YW_GUID from XFDJB t where upper ( t.XZQ || t.JBR || t.RQ || t.JBZYWT || t.JSR t.JLR) like upper ('% 2008-11-28 %') 解决方案 看不懂,呵呵呵呵呵呵呵呵 解决方案二: 诶---- --逗号 注意啦,该死 解决方案三:

java新人求助C：forEach和C;if

问题描述 java新人求助C:forEach和C;if function showJlInspectionLocalCheckPerson(){ var dotable2 = document.getElementById('tab11'); var nodes2 = dotable2.lastChild.getElementsByTagName("input"); for( i=0;i<nodes2.length;i++){ if(nodes2[i].name=="i