用idea看spark源码编译不通过

问题描述

最近想研究下spark的源码,在windows系统下用idea编译spark,在debugexamples的时候总是出现valtransactionTimeout:Int,valbackOffInterval:Int)extendsSparkFlumeProtocolwithLogging{找不到SparkFlumeProtocol的问题?还有其他一堆错误。请问如何解决才能根据examples的步骤一步步的debug?

解决方案

解决方案二:
还有一个eventbatch这个找不到,我看了javadoc里面都在org.apache.spark.streaming.flume.sink的类下。但是下下来的源码并没有两个trait和类
解决方案三:
楼主,这个问题解决了吗?我也遇到这个问题了,谢谢。引用1楼gaoqida的回复:

还有一个eventbatch这个找不到,我看了javadoc里面都在org.apache.spark.streaming.flume.sink的类下。但是下下来的源码并没有两个trait和类

引用1楼gaoqida的回复:

还有一个eventbatch这个找不到,我看了javadoc里面都在org.apache.spark.streaming.flume.sink的类下。但是下下来的源码并没有两个trait和类

解决方案四:
楼主,这个问题解决了吗?我也遇到这个问题了,谢谢。引用2楼bit1010的回复:

楼主,这个问题解决了吗?我也遇到这个问题了,谢谢。Quote: 引用1楼gaoqida的回复:
还有一个eventbatch这个找不到,我看了javadoc里面都在org.apache.spark.streaming.flume.sink的类下。但是下下来的源码并没有两个trait和类

引用1楼gaoqida的回复:

还有一个eventbatch这个找不到,我看了javadoc里面都在org.apache.spark.streaming.flume.sink的类下。但是下下来的源码并没有两个trait和类

解决方案五:
这个问题最终你们怎么解决的我在http://spark.apache.org/docs/latest/api/scala/index.html#index.index-s里面没有找到这个SparkFlumeProtocol和EventBatch这两个类根据引用应该在org.apache.flume.Channel目录下我在flume-ng-core-1.4.0.jarflume-ng-sdk-1.4.0.jar里面也没找到这两个类缺少其他jar包吗?引用3楼ssfxz的回复:

楼主,这个问题解决了吗?我也遇到这个问题了,谢谢。Quote: 引用2楼bit1010的回复:
楼主,这个问题解决了吗?我也遇到这个问题了,谢谢。Quote: 引用1楼gaoqida的回复:
还有一个eventbatch这个找不到,我看了javadoc里面都在org.apache.spark.streaming.flume.sink的类下。但是下下来的源码并没有两个trait和类

引用1楼gaoqida的回复:

还有一个eventbatch这个找不到,我看了javadoc里面都在org.apache.spark.streaming.flume.sink的类下。但是下下来的源码并没有两个trait和类

解决方案六:
可以看看我写的这篇博客http://blog.csdn.net/zhaoyunxiang721/article/details/49126725
解决方案七:
Windows下居然可以编译出来?使用的maven吗?我这里用sbt在Windows下无法完成,只能换到linux,下载依赖仍然是个很头疼的问题
解决方案八:
windows也是可以编译出来的,我用的sbt编译,只不过比较慢

时间: 2024-11-13 06:41:46

用idea看spark源码编译不通过的相关文章

Apache Spark源码走读(三)Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

<一>Spark on Yarn 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准.其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配. Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部署,本文将就Spark如何实现在Yarn平台上的部署作比较详尽的分析. Spark Standalone部署模式回顾 上图是Spark Standalone Cluster中计算模块的简要示意,从

深入理解Spark:核心思想与源码分析. 1.4 Spark源码编译与调试

1.4 Spark源码编译与调试 1.下载Spark源码 首先,访问Spark官网http://spark.apache.org/,如图1-18所示.   图1-18 Spark官网 单击Download Spark按钮,在下一个页面找到git地址,如图1-19所示.   图1-19 Spark官方git地址 打开Git Bash工具,输入git clone git://github.com/apache/spark.git命令将源码下载到本地,如图1-20所示.   图1-20 下载Spark

《深入理解Spark:核心思想与源码分析》——1.4节Spark源码编译与调试

1.4 Spark源码编译与调试 1.下载Spark源码 首先,访问Spark官网http://spark.apache.org/,如图1-18所示. 2.构建Scala应用 使用cmd命令行进到Spark根目录,执行sbt命令.会下载和解析很多jar包,要等很长时间,笔者大概花了一个多小时才执行完. 3.使用sbt生成Eclipse工程文件 等sbt提示符(>)出现后,输入Eclipse命令,开始生成Eclipse工程文件,也需要花费很长时间,笔者本地大致花了40分钟.完成时的状况如图1-21

Spark源码分析之Spark Shell(上)

终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧.不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的.另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找源码入口. 先来介绍一下Spark-shell是什么? Spark-shell是提供给用户即时交互的一个命令窗口,你可以在里面编写spark代码,然后根据你的命令立即进行运算.这种东西也被叫做REPL,(Read-Eval-Print Loop)交互式开发环境. 先来粗略的

spark+eclipse-eclipse中部署spark源码时候 编译antClass not found: javac1.8

问题描述 eclipse中部署spark源码时候 编译antClass not found: javac1.8 解决方案 看这儿你的是java的版本 解决方案二: 我装的是jdk1.8啊 eclipse内置ant版本也是1.8 怎么还会有问题. 解决方案三: 要在spark配置文件中加入jdk版本,原来的文件中好像只有1.6和1.7的配置信息,没有1.8的自己加入就能用ant编译过去了

Apache Spark源码走读(九)如何进行代码跟读&amp;使用Intellij idea调试Spark源码

<一>如何进行代码跟读 概要 今天不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读.众所周知,Spark使用scala进行开发,由于scala有众多的语法糖,很多时候代码跟着跟着就觉着线索跟丢掉了,另外Spark基于Akka来进行消息交互,那如何知道谁是接收方呢? new Throwable().printStackTrace 代码跟读的时候,经常会借助于日志,针对日志中输出的每一句,我们都很想知道它们的调用者是谁.但有时苦于对spark系统的了解程度不深,或者对scala认识不

源码编译安装MySQL5.6.10最佳实践

  1安装cmake MySQL从5.5版本开始,通过./configure进行编译配置方式已经被取消,取而代之的是cmake工具. 因此,我们首先要在系统中源码编译安装cmake工具. # wget http://www.cmake.org/files/v2.8/cmake-2.8.7.tar.gz # tar zxvf cmake-2.8.7.tar.gz # cd cmake-2.8.7 # ./configure # make # make install 1.1cmake命令语法 1.

​第2课 Scala面向对象彻底精通及Spark源码SparkContext,RDD阅读总结

本期内容: 1 Scala中的类.object实战详解 2 Scala中的抽象类.接口实战详解 3 综合案例及Spark源码解析 一:定义类 class HiScala{ private var name = "Spark" def sayName(){ println(name) } def getName = name } Scala中,变量与类中的方法是同等级的,可以直接相互赋值.与java不同的是类中的属性必须初始化,例如name属性不初始化,就会报错. scala中的get与

Apache Spark源码走读(六)Task运行期之函数调用关系分析 &amp;存储子系统分析

<一>Task运行期之函数调用关系分析 概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回. 准备 spark已经安装完毕 spark运行在local mode或local-cluster mode local-cluster mode local-cluster模式也称为伪分布式,可以使用如下指令运行 MASTER=local[1,2,1024] bin/spark-shell