【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute

随着公司业务的增多，云数据库 RDS 下的 MySQL 数据库的表越来越多，想要把它全部迁移到 MaxCompute 中进行计算分析，但又愁要配置太多次同步任务。如何能将大量的数据表一次性上传到 MaxCompute 中呢？通过大数据开发套件的整库迁移功能，便可快速完成 MySQL 数据整库迁移到 MaxCompute，从而节省同步时间，提高工作效率。

下面介绍一个适用于中小企业用户，高效率低成本的数据同步方案：

对于自建或云数据库 RDS 的 MySQL 数据库中的数据，都可以通过整库迁移功能，快速同步到 MaxCompute 中进行存储与分析，流程图如下：

云数据库 RDS：RDS 是一种稳定可靠、可弹性伸缩的在线数据库服务，本实验主要使用云数据库 MySQL 版。

MaxCompute：原名 ODPS，是由阿里云自主研发的一款服务，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，它适用于海量数据的存储、计算，商业智能等领域。

大数据开发套件：大数据开发套件提供全面托管的工作流服务，一站式开发管理的界面，帮助企业快速搭建数据中心。

实验目的和前期说明

实验目的：
通过大数据开发套件的整库迁移功能，快速把云数据库中的数据同步到 MaxCompute 中。

前期说明：
用户拥有阿里云官网实名认证账号，并且创建好账号 Access Key。

实验前的准备工作

开通并创建 MaxCompute 项目

1 . 阿里云实名认证账号访问 https://www.aliyun.com/product/odps ，根据自身需求进行购买，开通 MaxCompute；

2 . 点击开通成功页面的管理控制台，进入 MaxCompute 的控制台页面；

3 . 创建项目。进入控制台页面后导航至 大数据开发套件 — 项目列表，点击 创建项目，如图所示：

4 . 在弹出框中选择区域和付费方式，输入项目名称：

准备同步数据

创建 RDS 实例

1 . 登录 RDS 管理控制台；
2 . 在 实例列表 页面，单击 新建实例，进入创建页面；
3 . 选择包年包月或按量付费，示例选择包年包月。关于计费方式的选择，请参见收费项目及价格说明中的计费方式；
4 . 根据自身需求选择基本配置、网络类型、规格、存储空间、购买时长和购买量等实例配置，详情请参见：创建实例中的选择实例配置；
5 . 单击立即购买，进入订单确认页面；
6 . 阅读关系型数据库 RDS 服务条款后，根据后续提示完成支付流程。

设置白名单

1 . 登录 RDS 管理控制台，选择目标实例；
2 . 在实例左侧菜单中选择 数据安全性；
3 . 在数据安全性页面的默认分组后单击修改，如下图所示：

4 . 在修改白名单分组页面删除默认白名单 127.0.0.1，填写自定义白名单后，单击确定，如下图所示：

组内白名单：填写可以访问数据库的 IP 地址或者 IP 段，IP 地址或者 IP 段间用英文逗号分隔。详情请参见：设置白名单中的操作步骤。

创建账号和数据库

1 . 登录 RDS 管理控制台，选择目标实例；
2 . 选择左侧菜单中的 账号管理，单击创建账号，如下图所示：

3 . 输入要创建的账号信息，单击确定，如下图所示：

4 . 选择菜单中的 数据库管理，单击 创建数据库，如下图所示：

5 . 输入要创建的数据库信息，单击确定，如下图所示：

登录数据库

进入数据库管理页面，点击上侧 登录数据库，在弹出页面填写数据库用户名和密码，如下图所示：

创建表并准备数据

1 . 成功登录数据库后，点击 SQL 操作下的 SQL 窗口，如下图所示：

2 . 输入建表语句，点击执行,示例如下：

 CREATE TABLE `a1`
(
    `id` int(11) NULL,
    `col1` varchar(32) NULL,
    `col2` varchar(32) NULL,
    `col3` varchar(32) NULL,
    `col4` varchar(32) NULL
)
 ENGINE=InnoDB
 DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci;

3 . 根据自身需求写入数据即可，insert 语句如下：
INSERT INTO table_name(col_name,...) values(expr,...)