在IntelliJ IDEA上调试spark

问题描述

我想要在IDEA上单机调试spark里的PageRank算法，但是我该如何具体设置它的运行内存和运行的core数量，来达到和分布式集群作比较的目的。求教各路大牛！

解决方案

解决方案二：
valconf=newSparkConf().setMaster("local[n]")n为要使用的core数

时间： 2024-11-02 05:16:46

在IntelliJ IDEA上调试spark的相关文章

Apache Spark源码走读（九）如何进行代码跟读&使用Intellij idea调试Spark源码

<一>如何进行代码跟读概要今天不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读.众所周知,Spark使用scala进行开发,由于scala有众多的语法糖,很多时候代码跟着跟着就觉着线索跟丢掉了,另外Spark基于Akka来进行消息交互,那如何知道谁是接收方呢? new Throwable().printStackTrace 代码跟读的时候,经常会借助于日志,针对日志中输出的每一句,我们都很想知道它们的调用者是谁.但有时苦于对spark系统的了解程度不深,或者对scala认识不

《Spark大数据分析实战》——2.2节远程调试Spark程序

2.2 远程调试Spark程序本地调试Spark程序和传统的调试单机的Java程序基本一致,读者可以参照原来的方式进行调试,关于单机调试本书暂不赘述.对于远程调试服务器上的Spark代码,首先请确保在服务器和本地的Spark版本一致.需要按前文介绍预先安装好JDK和Git. (1)编译Spark 在服务器端和本地计算机下载Spark项目. 通过下面的命令克隆一份Spark源码: git clone https:// github.com/apache/spark 然后针对指定的Hadoop版本

eclipse/intellij idea 远程调试hadoop 2.6.0

很多hadoop初学者估计都我一样,由于没有足够的机器资源,只能在虚拟机里弄一个linux安装hadoop的伪分布,然后在host机上win7里使用eclipse或Intellj idea来写代码测试,那么问题来了,win7下的eclipse或intellij idea如何远程提交map/reduce任务到远程hadoop,并断点调试? 一.准备工作 1.1 在win7中,找一个目录,解压hadoop-2.6.0,本文中是D:\yangjm\Code\study\hadoop\hadoop-2.

《Spark官方文档》在YARN上运行Spark

Spark在 0.6.0版本后支持在YARN(hadoop NextGen)上运行,并且在后续版本中不断改进. 在YARN上启动Spark 首先,确认 HADOOP_CONF_DIR或YARN_CONF_DIR指向的包含了Hadoop集群的配置文件.这些配置用于操作HDFS和连接YARN资源管理器.在这个目录下的这些配置文件将被分发到YARN集群中,因此应用所使用的容器能够使用相同的配置.如果配置中的java系统参数或环境变量没有被YARN所管理,就必须设置在Spark应用的配置中(驱动.执行器

《Spark 官方文档》在Mesos上运行Spark

在Mesos上运行Spark Spark可以在由Apache Mesos 管理的硬件集群中运行. 在Mesos集群中使用Spark的主要优势有: 可以在Spark以及其他框架(frameworks)之间动态划分资源. 可以同时部署多个Spark实例,且各个实例间的资源分配可以调整. 工作原理在独立部署的Spark集群中,下图里的Cluster Manager代表Spark master.然而,在Mesos集群中,Mesos master将取代Spark master在下图中的地位. 如果一个S

《Spark 官方文档》在YARN上运行Spark

在YARN上运行Spark 对 YARN (Hadoop NextGen) 的支持是从Spark-0.6.0开始的,后续的版本也一直持续在改进. 在YARN上启动首先确保 HADOOP_CONF_DIR 或者 YARN_CONF_DIR 变量指向一个包含Hadoop集群客户端配置文件的目录.这些配置用于读写HDFS和连接YARN资源管理器(ResourceManager).这些配置应该发布到YARN集群上所有的节点,这样所有的YARN容器才能使用同样的配置.如果这些配置引用了Java系统属性或

eclipse/intellij idea 远程调试hadoop 2.6.0_java

在Apache上调试ASP.NET 1.1/2.0代码

apache|asp.net 我们知道ASP.NET 1.1的项目由于微软设计和实现的原因,对IIS的依赖非常的紧密.不管是创建ASP.NET项目,还是打开.调试ASP.NET项目,都要求IIS运行正常,否则什么都做不成.那么当我们在Apache上运行ASP.NET后,可不可以对其进行源代码级的step into/out调试呢? 由于Apache2项目中的mod_aspdotnet sub-project实现上的问题(也可以说是bug吧),使我们在其上运行ASP.NET程序时,和在IIS

代码-PageOffice从2.0升级到3.0在从程序上调试出现错误

问题描述 PageOffice从2.0升级到3.0在从程序上调试出现错误再打开在线Office是提示:当前PageOffice需要获取跟高版本的授权才能正常运行Error :0x00005..如果是PageOffice 2.0 升级到PageOffice 3.0,还需要修改两处代码: (1)修改调用了PageOffice的页面的aspx文件中的代码"Version=2.0.0.1"修改为"Version=3.0.0.1",如下: <%@ Register A