采云间DPC迁移方案实施计划

迁移计划概述:

第一阶段:前期沟通&准备

1、 请先熟悉Dataworks的相关操作,比如节点的新增、执行、调度运维等相关操作;

2、 本次迁移只把用户在采云间里面的任务迁移到DataWorks里面,需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用;如果用户在采云间有多个odps项目,且用这在odps项目上运行的节点存在依赖关系,需要确保这些odps项目是在一个租户空间中

3、 第二个DataWorks项目里面已经存在节点,需要把所有的节点备份一次(这个操作我们会帮忙处理);

4、 确定具体的操作时间,这个操作时间内用户不能有任何的增、删、改动作,操作完成之后的所有增、删、改需要自己去DataWorks同步,不会再有增量的迁移;

第二阶段:迁移方案

迁移时间计划:

【迁移前确定迁移时间】采云间迁移,迁移完成后会把根节点设置成暂停

【迁移完后提供一个星期的时间让用户验证】用户确认迁移效果,验证数据(建议用户在Base上通过补数据比对几天之前的数据来确认是否一致,然后随机采样的方式来验证)

效果确认完成之后通知到我们,我们这边会把所有采云间上的根节点暂停(迁移完成后预留1个月之后下线、删除)

DataWorks上面根节点需要用户设置成启动调度,提交到调度;

迁移内容:

IDE迁移

– 资源、函数会迁移到IDE中

– 采云间IDE中的file迁移至DataWorks的IDE脚本文件

– 已发布节点迁移至DataWorks的工作流节点 

– 不划分工作流Flow,按照节点关系一对一迁移,会根据设置的project把节点迁移到对应的project中;

调度迁移

-   任务类型:Virtual、ODPS SQL、CDP同步

数据源迁移

-  根据同步任务设置的链接方式生成数据源

验证注意事项:

– 鉴于同步任务比较多,数据导入和回流任务的验证要注意不能影响生产库。

– 生产验证时间为一周,拖的越久影响越大,最好在一周内完成系统割接。

 

第三阶段:验证

迁移后的验证分为2步:

• 迁移团队进行迁移后的告知客户;

• 客户介入验收工作,验收周期1周,请客户务必在1周内内完成验收工作(否则新增数据可能会导致问题);

采云间支持群钉钉群(钉钉群号11766922)

时间: 2024-09-15 18:18:11

采云间DPC迁移方案实施计划的相关文章

采云间Data Process Center(DPC)公测

采云间(Data Process Center,简称DPC)是基于开放数据处理服务(ODPS)的DW/BI的工具解决方案.DPC提供全链路的易于上手的数据处理工具,包括ODPS IDE.任务调度.数据分析.报表制作和元数据管理等,可以大大降低用户在数据仓库和商业智能上的实施成本,加快实施进度.   用户开通采云间DPC服务后,可以通过DPC控制台进入采云间的工作台.该工作台内部集成了Ali Data Developer Package(数据开发者套件)和Ali Data Business Int

一分钟了解阿里云产品:采云间概述

阿里云的众多产品中,采云间(Data Process Center,简称DPC)是很有特色的一款产品,今天让我们来了解下采云间吧.   什么是采云间呢?   采云间是基于开放数据处理服务(ODPS)的DW/BI的工具解决方案.DPC提供全链路的易于上手的数据处理工具,包括ODPS IDE.任务调度.数据分析.报表制作和元数据管理等,可以大大降低用户在数据仓库和商业智能上的实施成本,加快实施进度.   那么采云间有什么自己独特的地方呢?   采云间有着阿里多年DW.BI领域经验的沉淀,全链路解决数

探秘采云间:全链路数据处理工具直击传统DW/BI痛点

采云间 近几年来,各行各业的数据增长趋势都非常明显,大数据不再是少数大企业的专属研究领域.如何在数据金矿中挖掘出宝藏.如何做好数字化运营,成为各类企业共同关注的话题.针对企业日益迫切的数据化运营需求,阿里云ODPS(Open Data Processing Service,开放数据处理服务)在2014年1月对外开放公测,旨在推动大数据分析处理"平民化".为了丰富ODPS的周边生态,降低用户的接入成本,提高实施效率,尤其是弥补传统DW/BI工具的缺陷,基于多年建设内部数据工作平台的经验,

阿里云发布大数据工具采云间

ZDNet至顶网软件频道消息:阿里云计算发布大数据工具"采云间"--基于ODPS的简易工具解决方案.采云间可大大降低中小型公司大数据分析的门槛. 阿里云发布大数据工具采云间 将支持可视化分析 采云间是一个Web端的在线工具,简称DPC(Data Process Center),内部集成了阿里数据开发者套件和商业智能套件.目前免费公测版本功能,包括数据工厂.任务管理和数据同步:数据工厂主要提供ODPS IDE工具和SQL代码管理功能:任务管理可以实现任务调度和执行监控:数据同步支持本地数

一分钟了解阿里云产品:采云间五大热点技术问题分析

在上一篇文章中,我们为大家介绍采云间的概况,采云间(Data Process Center,简称DPC)是基于开放数据处理服务(ODPS)的DW/BI的工具解决方案,那在使用过程中,经常遇到的热门技术问题有哪些呢?   DPC中将RDS数据导入ODPS:   https://help.aliyun.com/knowledge_detail/6677865.html?spm=5176.788315825.2.1.u5AXVq   数据工厂快速入门:   https://help.aliyun.co

阿里云发布大数据工具采云间 将支持可视化分析

25日,阿里云计算发布大数据工具采云间--基于ODPS的简易工具解决方案.利用采云间,中小型公司不用再购买上百万元的商业智能(BI)软件,大大降低大数据分析的门槛. 采云间是一个Web端的在线工具,简称DPC(Data Process Center),内部集成了阿里数据开发者套件和商业智能套件.目前免费公测版本功能,包括数据工厂.任务管理和数据同步:数据工厂主要提供ODPS IDE工具和SQL代码http://www.aliyun.com/zixun/aggregation/17569.html

阿里云大动作,采云间将支持可视化分析

阿里云计算在25日发布了大数据工具采云间--一款基于ODPS的简易工具解决方案.利用采云间,中小型公司不用再动辄花花费上百万商业智能(BI)软件,大大降低大数据分析的门槛. 采云间是一个Web端的在线工具,全称为Data Process Center,简称DPC,内部将阿里数据开发者套件和商业智能套件进行了集成.目前免费公测版本的功能包括数据工厂.任务管理和数据同步:数据工厂主要提供了ODPS IDE工具和SQL代码管理功能:任务管理用以实现任务调度和执行监控:数据同步支持本地数据上传还有云数据

一分钟了解阿里云产品:采云间应用示例

下面是应用采云间来完成的一个简单业务报表的统计分析,并详细介绍采云间的产品实现.主要涉及几个步骤:   首先同步RDS(Relational Database Service,关系型数据库服务)数据库中的数据到ODPS上. 使用数据工厂执行ODPS SQL.通过"数据分析"进行在线可视化数据分析.   如何同步RDS数据库中的数据到ODPS上呢?采云间内置了数据同步和流转功能,完成RDS与ODPS之间的双向同步只需在采云间配置中心创建RDS和ODPS的连接信息即可.当配置RDS链接信息

11月27日采云间升级通知

尊敬的阿里云用户: 您好,阿里云将于2014年11月27日19:00--21:00对采云间底层调度系统升级,升级过程中任务管理和任务监控模块不可用,请您勿发布或修改任务,在此期间可使用采云间其他模块. 给您带来的不便,敬请谅解!感谢您对阿里云的支持! 阿里云计算 2014年11月26日