数据传输DTS新功能发布—Oracle不停机迁移

阿里云数据传输DTS致力于为用户提供关系型数据库、NoSQL及大数据OLAP等数据源之间数据迁移同步服务,并提供链路状态实时监控,链路在线修复等完善的链路维护体系。

为了降低数据库上云门槛,DTS 陆续推出各种数据库引擎的不停机迁移。通过不停机迁移,可以实现在数据库迁移过程中,源数据库正常提供服务,最大程度降低依赖该数据库的应用程序的停机时间。经过一段时间的打磨,DTS正式推出Oracle->RDS For PPAS 不停机迁移,有效降低Oracle用户的上云门槛。

本文主要介绍不停机迁移实现原理及Oracle->RDS For PPAS 不停机迁移使用方式:

不停机迁移实现原理
Oracle->RDS For PPAS不停机迁移任务配置流程
小结

不停机迁移实现 原理

如上图所示,不停服迁移的过程包括:

(1) 结构迁移,结构定义迁移,例如表结构
(2) 全量数据迁移,源实例中存量数据迁移
(3) 增量数据迁移,将源实例迁移过程产生的业务更新数据同步到目标实例

增量数据迁移的增量日志拉取及解析模块,在迁移任务开始后便开始运行,源实例产生的任何业务更新数据,都会被日志拉取程序获取、解析并存储在DTS存储系统中。当全量数据迁移完成后,DTS启动增量数据回放模块,增量数据回放模块,会从DTS存储系统中读取源库的增量数据,经过解析、过滤、封装后同步到目标实例中。
由于源实例业务产生的增量数据的速度低于DTS增量同步的速度,所以经过一段时间的增量数据同步,目标实例跟源实例的数据同步会达到动态一致的过程。当增量迁移达到无延迟状态后,可以在目标实例进行业务测试,业务测试通过后,源实例业务停写,等待增量迁移同步再次达到无延迟后,直接将业务切换到目标实例。
由上面的流程可见,整个迁移过程中,业务停机时间为:从业务停写,增量数据完全追平,到业务切换到目标实例的时间,停机时间可以降低到1分钟以内。

Oracle->RDS For PPAS 不停机迁移任务配置流程

本小节简单介绍,使用DTS进行Oracle->RDS For PPAS不停机迁移的DTS任务配置流程。

实例连接信息配置

在这个步骤中,主要配置迁移任务名称,源Oracle实例连接信息及目标RDS For PPAS实例连接信息。

迁移类型及迁移对象选择

在这个步骤中,配置迁移类型及迁移对象。
进行不停机迁移时,迁移类型需要配置:结构迁移+全量数据迁移+增量数据迁移

小结

数据传输DTS致力于支持关系型数据库、NoSQL及OLAP等数据源之间的数据迁移同步。DTS提供的Oracle->RDS For PPAS的不停机迁移功能,可以实现在Oracle提供服务的情况下,进行数据迁移,最大程度降低依赖Oracle的应用程序的停机时间。

相关链接

MySQL不停机迁移
SQLServer不停机迁移
MongoDB不停机迁移
DTS典型应用场景

时间: 2024-08-13 16:48:51

数据传输DTS新功能发布—Oracle不停机迁移的相关文章

数据传输DTS新功能发布—MongoDB不停机迁移

背景 随着MongoDB的普及,使用MongoDB的用户越来越多.在使用MongoDB的过程中,可能会因为上云.扩容.拆分等业务需求,需要进行 MongoDB的数据迁移.MongoDB官方提供了迁移工具mongodump/mongorestore,然而这个工具只能进行全量导入导出,为了保证迁移数据一致性,它要求数据迁移过程中,源MongoDB上的应用程序需要停机.所以,这种迁移方式对业务影响极大.为了降低MongoDB迁移门槛,DTS于8月份正式上线MongoDB不停机迁移,实现在MongoDB

日志服务新功能发布(2)--弹性伸缩(Merge/Split)

在之前的文章<日志服务(原SLS)新功能发布(1)--支持保序写入和消费>中,我们提到了Shard支持Key映射的特性,通过这个特性能够支持对序有需求的应用场景.今天我们给大家介绍一个在削峰填谷或流量突增情况下的功能:弹性伸缩.在生产中我们往往会面临峰值和低值的情况,也会遇到因业务层映射不均衡,导致某一个分区(shard)有非常大流量的场景,弹性伸缩(Merge/Split)就是为此设计的利器. 使用弹性伸缩的应用场景 场景1(视频类):根据峰值.底值弹性扩容,控制成本 用户A是一个视频类网站

传Facebook研发新功能 发布合作媒体的专门内容

据BI掌握的内部文件及两名知情人士透露的消息,Facebook正在研发一项新功能,该功能将直接在信息流(News Feed)中显示来自合作媒体的专门内容. 据称,这一功能代号为"Collections",与Snapchat的Discover功能较为相似,可以显示消息内容.清单体(listicle)文章.视频以及其它由精选媒体合作伙伴提供的内容. 最近几周,Facebook一直在联系媒体和娱乐公司,以便为Collections寻求可以发布的内容.但目前为止,Facebook方面一直没有披

日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤

日志收集流程 对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output. Input: 适配各类日志接入源,目前Logtail支持文本文件.Syslog(TCP流式)两种形式数据写入. Process:自定义日志处理逻辑,常见的有:日志切分.日志编码转换.日志结构化解析.日志过滤等等. Output:定义日志输出,例如Logtail以HTTP协议写数据到日志服务. 今天要介绍Logtail在日志处理阶段的两个新功能:转码.过滤. 日志转码 日志

优云Web新功能发布,邀您在线免费体验!

你是否还在因为无法通过大数据精准分析需求而烦恼? 你是否还在因为无法直观呈现用户的行为而头大? 你是否还在因为怎么优化页面布局而愁眉苦脸? 正所谓"一图胜千言",一张色彩缤纷的图片甚至可以给人带来意想不到的收获,优云web作为监控利器,其新功能"热图"可以为您解决这些麻烦! 热图作为优云web的特色功能点,究竟是怎样帮助您更好地了解用户行为的呢,让小编给您一一道来! 一.掌握用户习惯,优化界面结构 我们可以用优云web了解到在优云官网上用户最关注哪些内容.优云web

日志服务新功能发布(1)--支持保序写入和消费

日志服务在上周新上线的版本,支持数据的保序写入和消费,shard的split和merge, server端consumer group的原生支持(除去对mysql的依赖),数据自动同步至oss等一些列新功能.本文主要介绍数据的保序写入和消费的功能. LogStore & Shard 关系 每个LogStore对应一类日志,对于同一个LogStore下的数据,所有处理逻辑相同(索引方式.导入odps.oss等配置) 每个LogStore由一个或多个shard组成,用于支持数据写入水平扩展 每个sh

QingCloud 2.0新功能发布 性能全面升级

2014年4月16日,国内领先的基础云服务商青云QingCloud正式宣布全面升级至2.0阶段,本次升级包含一系列的性能提升和新功能的推出,而广东旗舰Zone(GD1)的部署及上线更将青云的系统规模扩升至原规模的三倍.2.0阶段的QingCloud在硬件配置.平台性能.功能及规模等方面均实现大幅提升,持续保持行业内技术领先地位. 作为全球唯一实现资源秒级响应和按秒计费的基础云服务商,QingCloud在1.0时代即以极致的技术追求著称.其在技术上的突出之处主要包括采用分布式块存储系统确保高性能

日志服务(原SLS)新功能发布(13)--Logtail支持自定义标识自动扩容机器组

背景 日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库,具体包含Logtail客户端.各种语言SDK.TrackingPixel以及REST API等方式,详细描述请参考文档"如何写入日志". 其中Logtail客户端支持快速接入单行.JSON.分隔符等多种日志文件格式以及syslog协议(常见日志收集配置),并且提供80MB/s的大吞吐量,同时性能相比同类工具有10倍提升仅消耗15%的资源(评测文档). Logtail客户端使用的一般流程包括三个步骤:创建机器组管理日志数

日志服务(原SLS)新功能发布(5)--使用Logstash接入数据

日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考. 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能. 用户可以在阿里云ECS,或者是IDC机房机器,又或者是其它云厂商的虚拟机上安装Logstash及插件,进行简单的配置,轻松地将本机日志数据搬到云上来. IIS日志场景 以Windows平台上最常见的IIS(Internet Information Services)日志