hadoop-linux搭建spark源码环境，执行build/sdt gen-idea要twitter东西？

问题描述

linux搭建spark源码环境，执行build/sdt gen-idea要twitter东西？

我linux不会翻墙啊。。。。

[error] Server access Error: 连接超时 url=http://maven.twttr.com/org/mortbay/jetty/jetty-parent/10/jetty-parent-10.jar
[info] Resolving org.apache.hadoop#hadoop-project;2.2.0 ...
[error] Server access Error: 连接超时 url=http://maven.twttr.com/org/apache/hadoop/hadoop-mapreduce-client/2.2.0/hadoop-mapreduce-client-2.2.0.jar
[info] Resolving org.apache.hadoop#hadoop-project;2.2.0 ...
[error] Server access Error: 连接超时 url=http://maven.twttr.com/org/apache/hadoop/hadoop-yarn/2.2.0/hadoop-yarn-2.2.0.jar
[info] Resolving org.sonatype.forge#forge-parent;6 ...
[error] Server access Error: 连接超时 url=http://maven.twttr.com/org/sonatype/forge/forge-parent/6/forge-parent-6.jar

解决方案

IDEA阅读Spark源码
 Spark源码阅读环境搭建（基于Intellij IDEA）

解决方案二：

有些包在twitter服务器上吧，这个没办法，你网络出不去，安装不了对应包。

解决方案三：

使用oschina提供的国内镜像。具体可参考官方指导：
http://maven.oschina.net/help.html

时间： 2024-12-31 17:54:08

hadoop-linux搭建spark源码环境，执行build/sdt gen-idea要twitter东西？的相关文章

idempiere-在搭建IDempiere源码环境时，导入出错

问题描述在搭建IDempiere源码环境时,导入出错开发环境:win7 64位 jdk 1.6 eclipse 3.7.2 ERROR [0001] : No suitable provider for component org.adempiere.sdk:eclipse.feature was found in resourceMap file:/D:/ID/idempiere_hgrepo_v2.1/org.adempiere.sdk-feature/adempiere.rmap ER

emacs+ensime+sbt打造spark源码阅读环境

概述 Scala越来越流行, Spark也愈来愈红火, 对spark的代码进行走读也成了一个很普遍的行为.不巧的是,当前java社区中很流行的ide如eclipse,netbeans对scala的支持都不算太好.在这种情况下不得不想到编辑器之神emacs,利用emacs+ensime来打造scala编程环境. 本文讲述的步骤全部是在arch linux上,其它发行版的linux视具体情况变通. 安装scala pacman -S scala 安装sbt pacman -S sbt 安装ensim

Apache Spark源码走读（七）Standalone部署方式分析&sql的解析与执行

<一>Standalone部署方式分析楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster,但没有对Application的提交与具体运行流程做详细的分析,本文就这些问题做一个比较详细的分析,并且对在standalone模式下如何实现HA进行讲解. 没有HA的Standalone运行模式先从比较简单的说起,所谓的没有ha是指master节点没有ha. 组成cluster的两大元素即Master和Worker.slave worker可以有

Kafka源码环境搭建

本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Windows操作系统下IntelliJ IDEA编译器,其余操作系统或者IDE可以类推. 1.安装和配置JDK 确认JDK版本至少为1.7,最好是1.8及以上.使用java -version命令来查看当前JDK的版本,示例如下: C:\Users\hidden> java -version java version "1.8.0_112" Java(TM) SE Runtime Environment (build 1.8

ZooKeeper源码研究系列（1）源码环境搭建

1 系列目录 ZooKeeper源码研究系列(1)源码环境搭建 ZooKeeper源码研究系列(2)客户端创建连接过程分析 ZooKeeper源码研究系列(3)单机版服务器介绍 ZooKeeper源码研究系列(4)集群版服务器介绍 2 搭建步骤 2.1 到github中fork该项目项目地址 https://github.com/apache/zookeeper.fork完成之后就存至自己的仓库中了. 2.2 clone上述自己的仓库地址到本地先看下大体的代码格式: 2.3 使用ant对源码

《Spark大数据分析实战》——2.4节配置Spark源码阅读环境

2.4 配置Spark源码阅读环境由于Spark使用SBT作为项目管理构建工具,SBT的配置文件中配置了依赖的jar包网络路径,在编译或者生成指定类型项目时需要从网络下载jar包.需要用户预先安装git.在Linux操作系统或者Windows操作系统上(用户可以下载Git Shell,在Git Shell中进行命令行操作)通过"sbt/sbt gen-idea"命令,生成Intellij项目文件,然后在Intellij IDE中直接通过"Open Project"

Spark 源码分析 -- task实际执行过程

Spark源码分析 – SparkContext 中的例子, 只分析到sc.runJob 那么最终是怎么执行的? 通过DAGScheduler切分成Stage, 封装成taskset, 提交给TaskScheduler, 然后等待调度, 最终到Executor上执行 val sc = new SparkContext(--) val textFile = sc.textFile("README.md") textFile.filter(line => line.contains(

Apache Spark源码走读（三）Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

<一>Spark on Yarn 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准.其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配. Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部署,本文将就Spark如何实现在Yarn平台上的部署作比较详尽的分析. Spark Standalone部署模式回顾上图是Spark Standalone Cluster中计算模块的简要示意,从

Spark源码分析之Spark-submit和Spark-class

有了前面spark-shell的经验,看这两个脚本就容易多啦.前面总结的Spark-shell的分析可以参考: Spark源码分析之Spark Shell(上) Spark源码分析之Spark Shell(下) Spark-submit if [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)" fi # disable