1. 背景调研
1.1 ODPS源与目的集群
| 调研项 | 内容 |
|---|---|
| ODPS源集群版本 | |
| ODPS目的集群版本 | |
| ODPS源与目的是否在一个集群/可使用相同账号 | |
| ODPS源集群AccessKeyId | |
| ODPS源集群AccessKeySecret | |
| ODPS目的集群AccessKeyId | |
| ODPS目的集群AccessKeyIdSecret |
1.2 预迁移数据统计
| 所属Project | 表名 | 大小 | 是否要迁移增量 |
|---|---|---|---|
| Project1 | Table1 | Desc查看表大小 |
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
- 如果源与目的ODPS在一个集群，或可使用相同账号，则推荐使用ODPS COPY TASK的方式进行迁移；
- 如果表的数量少，可通过手动建立CDP任务的方式进行迁移；
- 如果表的数量多，可通过调用Base CDP API接口的方式批量建立CDP任务，但目前此API接口还不成熟，和页面有较多关联；
- 如果是不同集群，不同账号体系下的ODPS数据迁移，则采用使用Datax工具进行迁移，迁移所需的配置文件，可用脚本批量生成；
3. 具体实施
3.1 表（分区）结构迁移
本部分操作，可通过调用ODPS的SQL来完成。具体可编写程序，调用ODPS SDK或ODPS cmd工具来进行。
对预迁移的表，在源ODPS中获取表结构，根据表结构，在目标ODPS中批量运行组装好的建表语句，即可完成。
3.1.1 要迁移的表名梳理
- 根据1.2中调研结果，梳理出表名列表；
- 此步骤，也可使用
show tables语句获取表名，然后将临时表等不需要迁移的表名去除；
3.1.2 生成DDL建表（分区）语句
此步骤操作，在ODPS源端进行，可使用ODPS CMD工具。其配置文件位于config/odps_config.ini，配置项如下：
project_name=
access_id=<accessid>
access_key=<accesskey>
end_point=http://service.odps.aliyun.com/api
这里注意，专有云环境下的end_point需要联系专有云管理人员获取。
在Bash环境下，执行如下示例语句，导出表结构。请根据实际情况改写shell语句，例如读取表名列表文件等。这里的odps_config.ini.src是源端ODPS的配置文件。
for table in tab1 tab2 tab3
do
odpscmd --config=odps_config.ini.src -e "export table $table "|awk -F ':' '{print $2}' >>tab.ddl
done
3.1.3 建立对应表（分区）
将ODPS CMD的配置文件配置成目的ODPS，然后执行如下实例语句。这里的odps_config.ini.dst是目的端ODPS的配置文件。
odpscmd --config=odps_config.ini.dst -f tab.ddl
3.2 数据迁移
3.2.1 使用ODPS TASK COPY
注意使用该工具的前提是在同一ODPS集群，或具有相同的账号。示例语句如下所示，请按照实际情况进行修改。
for table in tab1 tab2 tab3
do
odpscmd --config=odps_config.ini.dst -e "copy -d import -t proj_i.$table -url=http://src_odps_tunnel_endpoint/proj_p/$table -a" &
done
src_odps_tunnel_endpoint指源ODPS的tunnel endpoint，专有云环境下，请联系云管理人员获取。odps_config.ini.dst同上只目的端odps 的配置。
Copy命令的解释如下，有助于帮助使用和理解该命令。
copy [-a 或-o] -d [import 或 export] -url [TUNNEL 服务的 url 地址] -t [本地 ODPS 表名] -p [本地 ODPS 分区名] -e [远端 ODPS];
-a (追加模式)把数据附加到目标表已有数据之后
-o (覆盖模式)目标表已有数据被删除，新数据进入目标表
-d IMPORT或EXPORT。IMPORT表示数据从远端集群导入本地集群，EXPORT 表示数据从本地集群导入远端 集群
-url TUNNEL 服务的url地址，其中包含 Project 名，表名和分区名(如果是分区表的话)
-t 本地ODPS集群的表名
-p 本地ODPS集群的分区名，如果该表没有分区，该选项被省略
-e 远端ODPS的访问点(end point)
- append(-a)和overwrite(-o)的语义很明确，不过tunnel其实是只支持append操作的，所以-o 命令只不过是帮你执行了一下
alter table drop partition然后add partition的操作。 - -url 指定的是tunnel地址，分区表的写法
http://odps_endpoint_tunnel/prj_name/table_name/month=1,day=1，不需要写引号，多级分区用逗号分隔。 - -t 可以写成
project_name.table_name的名字 - -p 分区名称不需要写引号，多级分区逗号分隔
- -e 当前tunnel支持路由功能，copy task将使用-e指定的远端odps endpoint路由到对应的tunnel endpoint
以下举个例子。从源ODPS的 project_a.table_a，分区是ds='ds1'/pt=‘pt1’，导入到目的生产的project_b.table_b，分区是ds='ds2'/pt='pt2'，在目的生产的ODPS CMD上运行:
copy -o -d import -url http://dt-all.ext.odps.aliyun-inc.com/project_a/table_a/ds=ds1,pt=pt1 -t project_b.table_b -p ds=ds2,pt=pt2 -e http://service-all.ext.odps.aliyun-inc.com/api;
3.2.2 使用DataX工具
本步骤利用DataX工具进行数据迁移，DataX是阿里巴巴集团内被广泛使用的离线数据同步工具。
利用datax批量配置工具来生成对应的脚本和json文件。
本步骤流程如下：
- 进行环境的准备，本步骤需要在迁移机上安装odpscmd与datax工具，其中datax工具和datax批量工具需要python2.6及以上的运行环境；
- 在datax批量工具的config.ini中进行相关配置，包括源与目的ODPS的accessID与key、odps及tunnel的endpoint、odpscmd与datax的路径等信息；
- 在tables.ini中填写调试用到的表列表；
- 运行python datax_tools.py生成对应的脚本和json配置文件；
- 检查脚本与json配置文件；
- 运行run_datax.py脚本，批量顺序执行datax任务；
- 运行check_datax.py脚本，进行条数的检查；
3.2.2.1 批量配置工具
批量配置工具的流程如下：
- 配置源与目的端的基础信息；
- 读取并校验源与目的端的表结构和分区信息；
- 根据校验结果，生成DataX所需的json文件；
- 生成顺序运行Datax迁移命令的脚本文件；
- 利用select count(*)的方式进行条数检查;
代码示例详见Datax批量工具，可自行修改优化。
3.2.2.2 DataX使用与调优
本部分详见Datax的使用文档。