spark 一直 Application report for

问题描述

spark运行在yarn上。jdk：1.7.0_71hadoop:2.6spark:1.6spark配置：只配置了spark-env.sh文件，其他都没配置，配置如下exportSPARK_HOME=/yarn/spark-1.6.0-bin-hadoop2.6exportHADOOP_HOME=/yarn/hadoop-2.6.0exportYARN_CONF_DIR=/yarn/hadoop-2.6.0/etc/hadoopexportHBASE_CONF_DIR=/yarn/hbase-0.98.14-hadoop2/conf问题一：运行：一个简单的wordcount程序spark-submit--classcom.cyc.spark.JavaWordCount--masteryarn--deploy-modeclient/yarn/file/sparktest.jar一直打印：16/02/2321:11:30INFOClient:Applicationreportforapplication_1456228788292_0009(state:ACCEPTED)16/02/2321:11:31INFOClient:Applicationreportforapplication_1456228788292_0009(state:ACCEPTED)16/02/2321:11:32INFOClient:Applicationreportforapplication_1456228788292_0009(state:ACCEPTED)16/02/2321:11:33INFOClient:Applicationreportforapplication_1456228788292_0009(state:ACCEPTED)16/02/2321:11:34INFOClient:Applicationreportforapplication_1456228788292_0009(state:ACCEPTED)在yarn监管页面，显示求解，为什么程序不能跑？问题二：修改spark-env.sh文件，将exportYARN_CONF_DIR=/yarn/hadoop-2.6.0/etc/hadoop随便改一个路径，例如exportYARN_CONF_DIR=/yarn/hadoop程序也一直Applicationreportforapplication，在yarn的监管页面也有显示对应的application。求解，为什么路径不对也能被yarn接收到

解决方案

解决方案二：
楼主，问题一如何解决的呢？

时间： 2025-01-02 00:35:52

spark 一直 Application report for的相关文章

spark-关于Spark on Yarn运行WordCount的问题

问题描述 关于Spark on Yarn运行WordCount的问题 运行wordcount程序是,一直提示以下的内容,yarnAppState状态一直没有变成running: 14/05/13 15:05:25 INFO yarn.Client: Application report from ASM: application identifier: application_1399949387820_0008 appId: 8 clientToAMToken: null appDiagnos

《循序渐进学Spark》一第3章

第3章 Spark机制原理 本书前面几章分别介绍了Spark的生态系统.Spark运行模式及Spark的核心概念RDD和基本算子操作等重要基础知识.本章重点讲解Spark的主要机制原理,因为这是Spark程序得以高效执行的核心.本章先从Application.job.stage和task等层次阐述Spark的调度逻辑,并且介绍FIFO.FAIR等经典算法,然后对Spark的重要组成模块:I/O与通信控制模块.容错模块及Shuffle模块做了深入的阐述.其中,在Spark I/O模块中,数据以数据

《循序渐进学Spark 》Spark 编程模型

本节书摘来自华章出版社<循序渐进学Spark >一书中的第1章,第3节,作者 小象学院 杨 磊,更多章节内容可以访问"华章计算机"公众号查看. Spark机制原理 本书前面几章分别介绍了Spark的生态系统.Spark运行模式及Spark的核心概念RDD和基本算子操作等重要基础知识.本章重点讲解Spark的主要机制原理,因为这是Spark程序得以高效执行的核心.本章先从Application.job.stage和task等层次阐述Spark的调度逻辑,并且介绍FIFO.FA

Spark Streaming Programming Guide

参考,http://spark.incubator.apache.org/docs/latest/streaming-programming-guide.html  Overview SparkStreaming支持多种流输入,like Kafka, Flume, Twitter, ZeroMQ or plain old TCP sockets,并且可以在上面进行transform操作,最终数据存入HDFS,数据库或dashboard 另外可以把Spark's in-built machine

Real-Time Personalized Recommendation System

Introduction A real-time system is a system that processes input data within milliseconds so that the processed data is available almost immediately for feedback. Real-timeliness in the video recommendation system is mainly reflected in three layers:

客户端MapReduce提交到YARN过程（上）

在Mapreduce v1中是使用JobClient来和JobTracker交互完成Job的提交,用户先创建一个Job,通过JobConf设置好参数,通过JobClient提交并监控Job的进展,在JobClient中有一个内部成员变量JobSubmissionProtocol,JobTracker实现了该接口,通过该协议客户端和JobTracker通信完成作业的提交 public void init(JobConf conf) throws IOException { String track

利用 mount 指令解决 Read-only file system的问题

在linux系统中创建一个文件提示: /application/report/shiwei # touch test.c touch: cannot touch `test.c': Read-only file system   总是提示Read-only file system,也就是说系统是只读的,什么也写不了.于是在网上到处找了一下,发现解决起来挺容易的.一条命令就可以了   mount -o remount rw / 参考:http://www.blogjava.net/hadeslee

Flex 3 与 Flex 4 beta 之间的区别

Flex 4(代码名:Gumbo)beta 发行版在 Flex 3 基础上做出重大改动.Flex 4 beta 引入了一个新的组件和外观架构.但是作为 Flex 3 开发人员,您在使用 Flex 4 beta 编译 Flex 3 应用程序时可能不会遇到太多难题,因为新发行版的目的之一是保持与 Flex 3 的向后兼容性. 在本文中,我将 简要概述 Flex 4 beta 的主要目的和架构区别并介绍组件.布局.状态使用和效果方面的变化.我还将针对使用 Flex 4 beta 编译 Flex 3 应

基于AngularJS+HTML+Groovy实现登录功能_AngularJS

AngularJS是开发基于浏览器的响应式RWD应用程序的一个前端MVC框架,由谷歌最初开发的 开源项目,干净的架构吸引了大量粉丝,适合建立CRUD类型的业务应用程序,并不适合开发游戏等应用, 使用声明性编程的用户界面和命令式编程的逻辑, 支持现代桌面和移动浏览器 Internet Explorer版本8.0及以上. AngularJS是一款客户端MVC的javascript框架,而客户端MVC代表未来架构(为什么要使用MVC+REST+CQRS 架构),如果你有Struts或SpringMVC