SQL Server 云下数据增量同步至阿里云 RDS for SQL Server

近期有一个需求,将云下 SQL Server 的数据同步至云上 RDS for SQL Server。不考虑增量的话,可以直接使用 SSMS 数据库导出功能直接迁移数据到 RDS,但如果要进行增量同步的话则无法直接使用,尤

其是还要做数据过滤的场景。

那该如何解呢?可以使用 kettle 工作来做增量的插入、更新及删除,以达到增量同步的效果。具体操作步骤参考如下:

1. 前期准备

安装 Java 及配置 JAVA_HOME

安装 Kettle

2. 配置源数据库

新建转换。新建一个转换任务,“文件”-->“新建”-->“转换”

新建表输入。在“核心对象”-->“输入”-->“表输入”,将“表输入”图标直接拖拽到右侧区域

配置表输入。双击“表输入”图标,进入配置界面,步骤名称默认即可,数据连接就是选择你的源数据库,这里没有进行过配置,所以点击“新建”进行 SQL Server 源数据库连接配置

配置数据库连接。按照向导进行数据连接配置。

选择源表。点击“获取SQL查询语句”,在弹出的窗口中选择要进行数据传输的table,点击“确定”即可完成“表输入”配置。

3. 配置字段选择

新建“字段选择”。在模块化区选择“转换”-->“字段选择”,双击字段选择即可建立连接。

配置字段。双击“字段选择”图标打开配置界面。

4. 配置目标数据库

新建“插入/更新”。双击“输出”--“插入/更新”建立连接。

配置“插入/更新”。

双击“插入/更新“图标,新建目标数据库连接,并按照向导完成配置。

5. 测试运行

当然,每次同步数据量大的话会花费很长时间,可以使用时间戳来进行过滤,选取最近变更的记录,减少 kettle 读取的记录数,降低同步时间。

至于 delete 操作的同步,可以使用记录标记来解决。kettle 也提供的删除步骤,有兴趣的可以自己研究一下。

时间: 2024-08-31 17:15:56

SQL Server 云下数据增量同步至阿里云 RDS for SQL Server的相关文章

数据智能需求旺盛 阿里云MaxCompute2.0华南区开服

本文讲的是数据智能需求旺盛 阿里云MaxCompute2.0华南区开服 [IT168 资讯]8月31日,阿里云宣布将在深圳区域正式部署大数据计算服务MaxCompute,以进一步提升对华南区域客户服务的响应速度,并推动该地域人工智能产业的发展. 此前,凭借大规模计算存储.多种计算模型.强数据安全和低成本的优势,MaxCompute一直供不应求. 官方预计,深圳区域将于9月7日正式开放售卖,此后阿里云MaxCompute还将在年底前陆续新开北京.杭州.香港.新加坡.美国.日本.欧洲等节点.这显示了

【阿里云资讯】世纪互联牵手阿里云 数据中心全面升级混合云部署

[9月22日]9月22日,在"ICT中国 2016高层论坛"上,中国最大的第三方独立数据中心运营商世纪互联与阿里云签署了战略合作协议,将携手共建企业混合IT(混合云)生态,在政府.公共事业.金融.电商.游戏.教育.农业.娱乐.医疗.汽车.制造业等领域共同打造有行业特色的混合IT解决方案. 在双方的合作中,阿里云将公共云具备的弹性伸缩.海量扩展的优势延伸至世纪互联专有云,满足金融.政府等机构对数据安全隐私的合规性要求,帮助客户实现数据中心+云的混合部署. 通过这一合作,世纪互联旗下的多个

sqlserver中一条sql语句把插入数据的ID返回出来,oracle中sql语句要怎么写?

问题描述 sqlserver中一条sql语句把插入数据的ID返回出来,oracle中sql语句要怎么写? sqlserver中一条sql语句把插入数据的ID返回出来,oracle中sql语句要怎么写? 解决方案 oracle,sqlserver分页查询sql语句重复的数据只取一条,SQL语句如何写 解决方案二: select test.currval from dual 解决方案三: oracle里面不是差不多的吗

引入阿里云弹性计算,微博和阿里云实现双方史上最大规模混合云

2015年5月29日上午,李晨与范冰冰在新浪微博上晒出甜蜜合影并配文:"我们",承认了两人正在热恋中.这股"我们"风潮在创造了微博2小时阅读量超1000万的记录,联合国的官方微博也趁热晒出了一张前联合国秘书长潘基文与妻子的合影. 然而,谁也不会想到,娱乐圈的蝴蝶扇动了一下翅膀,竟引发了中国科技界的一次创新,促成了微博与阿里云史上最大规模的混合云实践.当流量激增形成脉冲计算,要保证系统的稳定性和服务的正常运转,唯一的办法就是快速扩容,甚至实时扩容."晨冰恋&

都做云,为什么ZStack独受阿里云青睐?

 1月18日,一个被中国人视为非常吉利的日子,ZStack对外宣布获得A轮投资.ZStack将与阿里云进行战略合作,获得由阿里云领投,找钢网胖猫创投.紫竹小苗基金跟投的数千万人民币A轮投资,并推出以公共云为中心的混合云战略,未来更将向基于IaaS的企业软件仓库分发部署方式进化.会上ZStack还发布了混合云战略,未来更将向基于IaaS的企业软件仓库分发部署方式进化. 在业界ZStack并不是一个很知名,其成立的历史也不长,2015年10月才算正式成立,虽然其产品推出更早一点(2015年年初),主

阿里巴巴旗下阿里云正式推出其搜索网站阿里云搜索

摘要: 忘记邓亚萍和即刻搜索吧,阿里巴巴旗下阿里云正式推出其搜索网站阿里云搜索. 目前,阿里云搜索有四个搜索产品:网页.资讯.图片.地图(其数据来源于高德).其网页设计是典型 忘记邓亚萍和即刻搜索吧,阿里巴巴旗下阿里云正式推出其搜索网站--阿里云·搜索. 目前,阿里云·搜索有四个搜索产品:网页.资讯.图片.地图(其数据来源于高德).其网页设计是典型的搜索网站风格,底部有"热门推荐". 此前,阿里云服务中提供"云搜索"服务 (Aliyun Open Search),目

阿里云总裁王文彬谈阿里云未来三个定位

本文讲的是阿里云总裁王文彬谈阿里云未来三个定位 [IT168专稿]伴随着阿里云的成长,阿里云开发者大会也度过了4个年头,此次参加阿里云开发者大会,以阿里云五周年为依托,阿里云更加明确了面向未来的发展策略.阿里云总裁王文彬谈到,今天的阿里云不只是一家技术公司,而是一家技术驱动的服务型公司.云计算的本质是服务加上24小时的运维保障,阿里云跟用户的关系是365天24小时在一起的共生关系.这似乎一种全新的合作关系,跟以前传统软件的"一锤子买卖"完全不一样.这对任何一家公司都是全新的挑战.同时,

全球云市场近2500亿美元,阿里云要为创业者打造“经济适用房”

根据Gartner预测,全球公有云服务市场将从2016年的2092亿美元增至2017年的2468亿美元,增幅高达18%.同时,Gartner也表示,全球公有云市场正在整体进入稳定期,其增速将在2017年达到峰值,随后将在未来几年内逐渐下降.但中国市场预计今后几年将保持高速增长,成为全球数字化转型的先锋. 5月23日,在2017云栖大会成都峰会上,阿里云正式推出"产业安全扶助计划".阿里云首席安全研究员吴翰清称要为创业者提供"经济适用房",计划准备第一年扶助100家初

阿里云备案的最新方式和阿里云APP备案核验佳速互联操作流程

阿里云备案的最新方式和阿里云APP备案核验佳速互联操作流程 方案1使用阿里云APP上传(推荐)备案资料上传和网站负责人核验在APP端一次性完成,无需等待,使用APP上传资料时需提供承诺书,请下载并填写(承诺书不得涂改) 1.提供法人主体负责人身份证号码.法人手机号码.法人邮箱号码:(公司法人) 2.提供网站负责人身份证号码.联系手机号码.联系邮箱号码:(法人或其他人) 3.承诺书(我方提供,按参考样本打印盖章.签字扫描)(①承诺书图片打印②由公司盖公章及网站负责人签名③高清扫描) 4.下载阿里云