阿里云E-MapReduce 作业结果和日志查看

执行记录查看

1.登录阿里云 E-MapReduce 控制台执行计划页面。
2.单击相应执行计划条目右侧操作中的运行记录,即可进入执行记录页面。如下图所示:

执行序列 ID: 本次执行记录的执行次数,表明了它在整个执行队列中的顺序位置。比如第一次执行就是1,第n次就是n。

运行状态: 每一次执行记录的运行状态。

开始时间: 执行计划开始运行的时间。

运行时间: 到查看页面当时为止,一共运行的时间。

执行集群: 执行计划运行的集群,可以是按需也可以是一个关联的已有集群。点击可以前往集群的详情页查看。

操作

查看作业列表:单击该按钮,即可进入单次执行计划的作业列表查看每个作业的执行情况。
作业记录查看

在这里可以查看单次执行计划的执行记录中的作业列表,以及每一个作业的具体信息,如下图所示:

作业执行 ID:作业每一次执行都会产生一个对应的 ID,它和作业本身的 ID 是不同的。这个 ID 可以想象成作业每运行一次的一个记录的唯一标示,您可用其在 OSS 上进行日志查询。

作业名称:作业的名称。

状态:作业的运行状态。

作业类型:作业的类型。

开始时间:这个作业开始运行的时间,都已经转换为本地时间。

运行时间:这个作业一共运行了多久,以秒为单位。

操作

停止作业:无论作业在提交中还是在运行中,都可以被停止。如果是提交中,那么停止作业会让这个作业不执行。如果是在运行中,那么这个作业会被 kill 掉。

stdout:记录 master 进程的标准输出(即通道 1)的所有输出内容。如果运行作业的集群没有打开日志保存,不会有此查看功能。

stderr:记录 master 进程的诊断输出(即通道 2)的所有输出内容。如果运行作业的集群没有打开日志保存,不会有此查看功能。

查看作业实例:查看作业的所有 worker 的节点的日志。如果运行作业的集群没有打开日志保存,不会有此查看功能。

作业worker日志查看

云服务器实例 ID/IP:运行作业的 ECS 实例 ID,以及对应的内网 IP。

容器 ID:Yarn 运行的容器 ID。

类型:日志的不同类型。stdout 与 stderr,来自不同的输出。

操作

查看日志:单击对应的类型,查看对应的日志。

时间: 2024-11-13 02:21:36

阿里云E-MapReduce 作业结果和日志查看的相关文章

阿里云E-MapReduce Spark 作业配置

1.进入阿里云 E-MapReduce 控制台作业列表. 2.单击该页右上角的创建作业,进入创建作业页面. 3.填写作业名称. 4.选择 Spark 作业类型,表示创建的作业是一个 Spark 作业.Spark 作业在 E-MapReduce 后台使用以下的方式提交: spark-submit [options] --class [MainClass] xxx.jar args 5.在应用参数选项框中填写提交该 Spark 作业需要的命令行参数.请注意,应用参数框中只需要填写"spark-sub

关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知

随着互联网.云计算.物联网.社交网络等技术的兴起和普及,全球数据的增长快于任何一个时期,可以称作是爆炸性增长.收集大量数据,并在数据中发现趋势,能使企业能够更快.更平稳.更有效地发展.然而,大数据对许多企业和数据专业人员来说,它仍然很难理解,那么,什么是大数据分析?如何利用阿里云数加平台进行海量数据分析,帮助企业更好地利用数据资源?"天德π客"众创空间特举办本期论坛--"基于阿里云的大数据实践--海量日志分析",邀请华北电力大学电力系统及其自动化博士,阿里云大数据高

阿里云E-MapReduce Hive 作业配置

E-MapReduce 中,用户申请集群的时候,默认为用户提供了 Hive 环境,用户可以直接使用 Hive 来创建和操作自己的表和数据.操作步骤如下. 1.用户需要提前准备好 Hive SQL 的脚本,例如: USE DEFAULT; DROP TABLE uservisits; CREATE EXTERNAL TABLE IF NOT EXISTS uservisits (sourceIP STRING,destURL STRING,visitDate STRING,adRevenue DO

阿里云Redis集群子实例内存查看

阿里云Redis集群有多个节点,用户需要查看每个子节点的内存还有key数目,目前阿里云Redis提供了iinfo命令用于查看某个节点的性能数据,后续会在控制台展示每个节点的数据. 初始化环境 安装python客户端 下载python客户端 wget "https://pypi.python.org/packages/68/44/5efe9e98ad83ef5b742ce62a15bea609ed5a0d1caf35b79257ddb324031a/redis-2.10.5.tar.gz#md5=

阿里云E-MapReduce Hadoop MapReduce 作业配置

1.登录阿里云 E-MapReduce 控制台作业列表. 2.单击该页右上角的创建作业,进入创建作业页面. 3.填写作业名称. 4.选择 Hadoop 作业类型.表示创建的作业是一个 Hadoop Mapreduce 作业.这种类型的作业,其后台实际上是通过以下的方式提交的 Hadoop 作业. hadoop jar xxx.jar [MainClass] -Dxxx .... 5.在应用参数中填写提交该 job 需要提供的命令行参数.这里需要说明的是,这个选项框中需要填写的内容从 hadoop

阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》Workshop-入口

阿里云MVP Meetup 大数据Workshop入口 <云数据·大计算:海量日志数据分析与应用> 欢迎大家扫码加入阿里云数加MaxCompute交流群,后续相关项目支持都可以进行群里提问,数加小二也第一时间帮助解决. 数据采集:日志数据上传 数据加工:用户画像 数据分析展现:可视化报表及嵌入应用 该课程是基于大数据时代日志分析的基础需求的基础上,告知用户如果通过阿里云数加大数据解决方案来实现自己网站日志的用户画像.包括数据采集.数据加工以及数据最终的展现. 专场议程介绍 在大数据时代,无论是

阿里云E-MapReduce Spark SQL 作业配置

.注意:Spark SQL提交作业的模式默认是yarn-client` 模式. 2.进入阿里云E-MapReduce控制台作业列表. 3.单击该页右上角的创建作业,进入创建作业页面. 4.填写作业名称. 5.选择 Spark SQL 作业类型,表示创建的作业是一个 Spark SQL 作业.Spark SQL 作业在 E-MapReduce 后台使用以下的方式提交: spark-sql [options] [cli option] 6.在"应用参数"选项框中填入 Spark SQL 命

阿里云创建E-MapReduce 3 创建作业

要运行一个计算任务,首先需要定义一个作业,其步骤如下: 1.登录阿里云 E-MapReduce 控制台作业页面. 2.选择地域(Region),则作业将会创建在对应的地域内. 3.单击该页右上角的创建作业,进入创建作业页面,如下图所示: 4.填写作业名称. 5.选择作业类型. 6.填写作业的应用参数.应用参数需要完整填写该作业运行的 jar 包.作业的数据输入输出地址以及一些命令行参数,也就是将用户在命令行的所有参数填写在这里.如果有使用到 OSS 的路径,可以单击下方的"选择 OSS 路径&q

阿里云E-MapReduce产品简介

产品概述: 阿里云 Elastic MapReduce(E-MapReduce) 是运行在阿里云平台上的一种大数据处理的系统解决方案.E-MapReduce 构建于阿里云云服务器 ECS 上,基于开源的 Apache Hadoop 和 Apache Spark,让用户可以方便地使用Hadoop和Spark生态系统中的其他周边系统(如 Apache Hive.Apache Pig.HBase 等)来分析和处理自己的数据.不仅如此,用户还可以通过E-MapReduce将数据非常方便的导出和导入到阿里