大数据开发—常见问题(3)

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 MaxCompute和 大数据开发套件 过程中遇到的常见问题,供大家参考~

Q: 在大数据开发套件—运维中心中查看任务,显示全部失败?

A: 因为任务中配置了上游依赖,上游任务跑失败了,导致下游任务无法继续。

Q: ADS 支持 IF、IFNULL 关键字吗?
A: 不支持,您可以用 case when 、coalesce 代替,另外,若是含 group by的 SQL 语句中必须有聚合函数来匹配 group by 。

Q: 华北 1 的 RDS 同步到华东 2 的 MaxCompute 会产生公网费用吗?
A: 会产生费用,您可以参见:服务连接 对收费详情进行了解。

Q: ADS 中什么函数可以替换 Mysql 中的 TIMESTAMPDIFF(SECOND,trd_reqtime,trd_fintime) ?
A: 如果 a 和 b 都是 timestamp 类型,可以直接 a-b,结果就是秒。

Q: 配置数据同步任务,在选择数据源时,出现下图中的错误,该怎么办?


A: 建议您刷新页面,清空缓存,重新登录。

时间: 2024-07-30 13:08:18

大数据开发—常见问题(3)的相关文章

大数据开发—常见问题(2)

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 MaxCompute和 大数据开发套件 过程中遇到的常见问题,供大家参考~ Q. 图片中的任务状态实际是暂停的,为什么统计的是失败? A. 大数据开发套件中的暂停状态,就是失败,所以会放在失败里统计. 此处建议如果用于紧急处理任务,减少对下游数据的影响,可以将其置为暂停状态:如果是不再使用的任务,建议删除 . Q. 一个 sql 里 join 一个百万的小表 6 次,这个小表的数据会在内存里做缓存吗?还是会被全表

大数据开发—常见问题(1)

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 MaxCompute 和 大数据开发套件 过程中遇到的常见问题,供大家参考~ Q. 如何查看实时的项目占用存储多少? A. 执行 desc projec)t -extended project_name 语句进行查看 . Q. 数据同步时,如何进行增量同步?A. 具体操作可参考 数据增量同步文档 . Q. 如果之前提交的任务修改后再次提交,是否会影响当天的任务调度?A. 根据修改的内容来确定是否会影响:如果修改的

大数据开发—常见问题(4)

Q:MaxCompute 中有没有类似 hive 里面 grouping sets 的功能?A:暂时不支持grouping sets函数,您可以考虑使用udaf实现, 或者您可以使用union all 来迂回解决 Q:如下图的工作流处理流程, 是要 aa 和 bb 都完成后才会执行 cc 吗?aa 和 bb 是否会同步执行? A:首先 aa 和 bb 都完成后才会执行 cc:其次,如果没有资源在等待执行,那么 aa 和 bb 会同步执行. Q:是否可以在创建 MaxCompute 表时,设置一个

大数据开发套件—调度运维常见问题

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 大数据开发套件 时遇到的常见问题,供大家参考~ Q. 如果之前提交的任务修改后再次提交,是否会影响当天的任务调度? A. 根据修改的内容来确定是否会影响:如果修改的只是 sql 语句,则不会影 响:如果修改自定义参数和调度配置以后重新提交的,都会影响当天的任 务调度 . Q. 创建一个新的工作流任务,如果保存后没有提交任务,是否可以进行测试? A. 仅保存后没有提交,sql 任务可以在本地运行,但不可以提交测试

大数据开发套件—数据集成常见问题

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 大数据开发套件 过程中遇到的常见问题,供大家参考~ Q: 配置数据同步任务,在选择数据源时,出现下图中的错误,该怎么办? A: 建议您刷新页面,清空缓存,重新登录. Q:数据同步时,如何进行增量同步? A: 具体操作可参考 数据增量同步 文档 . Q:新增数据源时,RDS 数据源测试连通性不通怎么办? A:当 RDS 数据源测试连通性不通时,需要到自己的 RDS 上添加数据同步机器 IP 白名单: 10.152.

Spark修炼之道(基础篇)——Linux大数据开发基础:第一节、Linux介绍、安装及使用初步

本节主要内容 Linux简史 Linux系统整体介绍 Ubuntu Linux安装 Linux使用初步 1. Linux简史 要讲述大名鼎鼎的Linux,必然要先从UNIX系统谈起,下面这幅图给出了Unix系统的进化图: 图片来源:http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8BuSDkbwmldtmUEmGRDUwqsQMIV4jCKHvdkSPr3Lq 从进化图中可以看到,目前所有的

【大数据新手上路】“零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据

免费开通大数据服务:https://www.aliyun.com/product/odps 老板每天都要出这些业务数据(销售总额.总交易量.总点击次数.总加入购物车次数.总加入收藏夹次数...),我得想个一劳永逸的方法了- 幸好,我有数加神器大数据开发套件Data IDE,搞定业务工作流调度,每日定时自动执行任务,分分钟输出计算结果. 妈妈再也不用担心我焦头奋战了-- 本教程是一个大数据开发套件Data IDE零基础教程,通过Data IDE将多源异构的数据集导入云端MaxCompute,进行计

大数据 学习 编程-大数据开发师该如何去学习?

问题描述 大数据开发师该如何去学习? 本人大二了,对大数据比较感兴趣,以后想成为一位 大数据研发师 ,大一学了C++和SQL还有一点Linux,请问接下来还需要学些什么呢?各位大大能不能给一条比较清晰的 学习路线 ,我学的有点迷茫了,感觉学的好杂

【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态

数加·大数据开发套件目前支持任务调度周期有五种:天.周.月.分钟.小时.本文将介绍这五种周期的配置和调度形态. 调度规则--调度任务是否能运行起来要满足的条件: 上游任务实例是否都运行成功.若所有上游任务实例都运行成功则触发任务进入等待时间状态. 任务实例定时时间是否已经到.任务实例进入等待时间状态后会check本身定时时间是否到,如果时间到了则进入等待资源状态: 当前调度资源是否充足.任务实例进入等待资源状态后,check当前本项目调度资源是否充足,若充足则可以运行起来. 天调度任务 天调度任