MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况

在使用MaxCompute的时候,很多同学会关注当前项目有多少任务在执行,哪些任务耗时长,哪些任务已经完成,并且能通过任务的logview来分析任务耗时长的原因。

ofo的同学选择自己搭建任务管理平台通过sdk函数获取MaxCompute 相关job信息进行管理。如《MaxCompute的任务状态和多任务执行》所分享。

其他的没有精力自己搭建平台,可以通过show p -all;命令查看所有job,再通过wait instanceid;查看这个job的logview,最后通过logview再查看具体的执行日志。如《如何在客户端上追踪一个任务信息》所介绍。

今天我要分享的是通过MaxCompute Studio可以可视化查看项目想的所有job并分析运行情况。具体操作如下:

  • 查看某个项目下,过去24小时的所有job列表,并查看那些job耗时最长。
    进入Studio的job explorer选项卡,选择需要查看的项目(该项目链接必须已经配置好,可以参考《项目空间连接管理》);状态选择’全部作业‘;提交者选择’任何人‘(项目owner肯定有权限,其他同学有project的list权限也可以否则只能看自己提交的job):

    在查询结果列表中,点击“总时长”进行高到低排序既可得出上图列表。

    注意,界面最多显示满足条件的前1000条记录。

    假如只想看正在活动的作业,可以过滤状态:

    假如还想看更长久的作业,可以过滤日期:

  • 查看耗时最长的job的具体运行情况。

    可以直接双击查询列表中总时长按高到低排列后时长最高的job,既可打开该作业的详情显示区。

    注意,如果job已经超过7天,详情中只能查看基本的一些基本信息包括脚本信息。


    在作业详情显示区,如果该job没超过7天,那么可以查看详细的执行过程日志,具体分析操作参考可以上一篇的分享《MaxCompute Studio使用心得系列3——可视化分析作业运行》。

    假如你查看的是running状态的job详情,还可以进行kill操作非常方便。

  • 如果从其他途径知道了某个logview地址,也可以通过Studio直接打开这个logview进行分析:

好了,想可视化查看所有job以及job的具体运行信息,就分享到这。若能通过instance id搜索想看的job,以及通过脚本内容关键字搜索哪些job执行过这些内容就更好了!

时间: 2024-09-29 12:57:36

MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况的相关文章

MaxCompute Studio使用心得系列3——可视化分析作业运行

上一篇写分享了通过MaxCompute Studio 编写sql脚本时"编译"功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况. 我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况. 比如我写完一个sql脚本,编译成功 接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表.详情展示和分析区(执行计划

MaxCompute Studio使用心得系列1——本地数据上传下载

MaxCompute Studio已经发布好久,一直没能好好体验,近期MaxCompute Studio 陆续推出很多好用的功能,今天开始给大家分享使用心得. 用过大数据开发套件的同学,对于本地数据上传下载,都会遇到这样的问题: '导入本地数据'功能,限制本地数据文件大小最大为10MB: 查询结果导出本地时,由于select语句返回结果最大为10000行的限制,最多只能导出1W数据: 数据导出本地文件的功能只有'查询结果导出本地'. 要解决以上问题,通常都是需要自己安装console客户端,通过

MaxCompute Studio使用心得系列5——一个工具完成整个JAVA UDF开发

MaxCompute提供了丰富的内置函数,但是依然还是无法满足所有业务,所以自定义函数在所难免. MaxCompute目前支持的UDF主要是JAVA UDF,但是原来的客户端console和大数据开发套件都不支持JAVA编辑,只能先在自己机器的java环境中编辑测试好,然后输出jar包,再通过console或大数据开发套件将jar包添加成resource,最后再注册成function.整个过程需要跨工具平台,且JAVA环境还需配置好MaxCompute提供的Eclipse插件,流程长耗时多. 本

MaxCompute Studio使用心得系列2——编译SQL脚本

开发人员写好代码,对代码进行语法编译是很常见的操作,但是目前常用的MaxCompute sql开发工具(大数据开发套件和console客户端),都没有该功能,必须把sql脚本提交运行后若有语法问题才会通过返回错误日志中获取相关信息. MaxCompute每次提交job都要少则几秒多则数分钟不等的排队过程,等返回失败信息,也需要等待一定的时间,不仅仅影响开发效率,还浪费计算资源. 本次分享 通过MaxCompute Studio 进行SQL脚本开发过程中"编译"功能带来的便利. 前提条件

MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发

2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF,万众期待的功能终于支持啦,我怎么能不一试为快,今天就分享如何通过Studio进行Python udf开发. 前置条件 了解到,虽然功能发布,不过还在公测阶段,如果想要使用,还得申请开通:https://page.aliyun.com/form/odps_py/pc/index.htm.这里我就不介绍申请开通具体流程了. 环境准备 MaxCompute Studio支持Python UDF开发,前提

【直播回顾】通过MaxCompute Studio实践大数据时代的DevOps

内容简介:阿里云大数据平台 MaxCompute 系统为开发者提供全托管的.PB 级的数据仓库解决方案,MaxCompute Studio 是 MaxCompute 新推出的数据集成开发环境(IDE),为开发者提供了 数据开发调试 - 命令行工具集成 - 自助作业分析诊断 的全面解决方案. 我将通过 MaxCompute Studio 的智能代码编辑能力.数据管理及浏览能力.作业可视化和自助诊断能力等展现 MaxCompute 平台的数据开发和部署的强大和敏捷性. 观众受益:带领大家实现数据仓库

用 MaxCompute Studio 查看作业排队详情

各位MaxCompute的用户及运维朋友,在日常使用中,您有没有遇到这种场景: 我作业提交了这么久,为啥还没看到计算任务执行?作业提交后状态一直是 RUNNING ,到底执行到了什么阶段?作业提交后只能等,也不知道完成的进度如何?为何当前作业一直在等待,到底什么作业正在占用着我的计算资源? 现在,为了解决用户的这些痛点,MaxCompute 正式上线了作业队列展示功能.用户可以通过 MaxCompute Studio 和 Logview 查看作业执行的详细阶段,查看计算集群的等待队列,从此不再对

使用 MaxCompute Studio 开发大数据应用

MaxCompute(原ODPS)是阿里云自主研发的分布式大数据处理平台,为用户提供了开放的编程接口和 SDK,允许用户在其强大灵活的存储和计算能力之上开发自己的数据应用和系统,创造更大的价值. 为了能让这一过程更加顺畅高效,随着 MaxCompute 2.0 的发布,我们提供了 MaxCompute Studio,一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件,让用户在集成开发环境(IDE)中更方便地进行数据开发. MaxCompute Studio 为开发者提供了良好的开

MaxCompute Studio 2.8.1 新版本发布啦!

新特性概览 1.[重磅介绍]可视化作业自助分析 2.[新增]可视化表结构编辑器 3.[新增]表.函数等全局查找器 4.[新增]浏览内建函数及使用说明 5.[优化]作业排队信息 新特性介绍 1. [重磅介绍]可视化作业自助分析 MaxCompute Studio 2.8.1 版本提供了全新的可视化 MaxCompute 作业自助分析功能 其中: 左侧窗格 为作业管理器(Job Explorer),显示作业列表,显示单个作业时可以收起,以节省空间,扩大作业详情显示面积. 右侧区域 为作业详情显示部分