彩虹桥——云数据库Greenplum版数据同步解决方案

云数据库Greenplum版(ApsaraDB
for Greenplum)目前已经开始公测,大家对它的使用评价还是非常高的。但是也有看到朋友反映说在把业务数据同步到云数据库的过程中还有一些不那么灵活的地方。就在前几天,笔者经朋友推荐在阿里云市场找到了这款叫彩虹桥的软件,在用了一段时间后,想在此提一些自己的看法。言而总之在业务数据同步方面,笔者认为彩虹桥应该是greenplum目前最好用的配套辅助工具。

首先让我们来看看正在公测的云数据库Greenplum版。云数据库Greenplum版是基于Greenplum开源数据库项目的MPP大规模并行处理数据仓库产品,提供全面的SQL支持(包括符合SQL2008标准的OLAP分析函数),业界流行的BI软件都可以直接使用Greenplum进行在线业务分析。支持行存储和列存储混合模式,提高分析性能;同时提供数据压缩技术,降低存储成本。支持XML、GIS地理信息、模糊字符串等丰富的数据类型,为物联网、互联网、金融、政企等行业提供丰富的业务分析能力。

阿里云这次不仅将Greenplum云化,还添加了一些非常贴地气的特性,加强了产品的可用性。如今看来,从百TB到PB的OLAP仓库,Greenplum无疑是非常好的选择。但是相信大家在将数据库数据同步到Greenplum的时候,还是存在一些问题,这往往是由业务本身造成的,比如说:

业务数据的数据源类型多,数据散乱;无法对数据任务的基础信息进行控制,如字段,同步频率,抽取方式等,操作繁杂;无法对数据同步的执行情况进行实时的跟踪;不会编程的用户在同步数据的时候存在难以逾越的使用门槛。 

现在我们来看看这款配套Greenplum使用的数据同步工具,到底是否好用?它又是如何解决数据同步问题的?带着这两个问题,我们来看看这款数据同步工具。进入彩虹桥以后,我们可以看到有三个功能模块:

  一、数据源管理--配置数据源基础信息,目前支持SQLServer,MySQL,PostgreSQL,Oracle 等数据库到云数据库Greenplum版的数据导入,基本上涵盖了市面上主流的数据源,可以对不同的数据源进行有效的管理。

  二、任务配置--配置数据任务的基础信息,包括表名,字段,同步频率,抽取方式等

  三、任务执行情况--查看任务的执行状态,执行时间等,并可以对失败任务进行重试等处理,一目了然。 

笔者已经体验了两天,最直观的感受就是彩虹桥的配置操作非常灵活简单。简洁的可视化界面,使用了目前非常流行的拖拉拽的操作方式来实现数据的自动同步,即使是不会编程的普通业务人员也能进行完整的操作,而对于有编程基础的业内人员来说,则可以大大的节省时间和精力。以自动建表这个功能为例,用户无需关心复杂的表结构,系统实现自动在云数据库Greenplum版后台创建所需同步的目标表,省去了非常多不必要的麻烦,摆脱平日束缚,更多专注于核心业务。此外,所有操作都是在ECS上完成,目标数据双节点同步冗余,自动化定期备份,能够保护重要数据,可以说彩虹桥有相当不错的安全性。在用户体验上,也可以给到不错的评分。

  当然,对于工具是否好用的问题我们已经得出了肯定的答案,彩虹桥可以帮助大家通过简单的配置操作把业务数据同步到云数据库Greenplum版,助力在线业务分析。但它到底是否适合你的业务数据,只有自己去体验一下才能知道了。

时间: 2024-09-13 14:21:01

彩虹桥——云数据库Greenplum版数据同步解决方案的相关文章

阿里云数据库Greenplum版发布啦

经过阿里云ApsaraDB小伙伴们几个月的不懈努力,Greenplum 终于上云了.(这里有PostgreSQL内核小组的宇宙第一小鲜肉,还有宇宙无敌老腊肉) 云数据库Greenplum版(ApsaraDB for Greenplum)是基于Greenplum开源数据库项目的MPP大规模并行处理数据仓库产品,提供全面的SQL支持(包括符合SQL2008标准的OLAP分析函数),业界流行的BI软件都可以直接使用Greenplum进行在线业务分析.支持行存储和列存储混合模式,提高分析性能:同时提供数

云数据库Redis版备份恢复解决方案上线,数据可靠性全面升级!

阿里云云数据库Redis版致力于为用户提供稳定可靠.性能卓越.可弹性伸缩的数据库服务,并提供全套的容灾切换.故障迁移.在线扩容.性能优化的数据库解决方案. 云数据库Redis版采用双击热备的架构保证服务高可用,并且提供了持久化机制来保证数据可靠性.但是随着越来越多的业务开始使用Redis作为最终的持久化存储引擎,用户对于数据可靠性就提出了更高的需求.经过一段时间的打磨,我们正式推出了Redis备份恢复解决方案,全面的升级云数据库Redis的数据可靠性.   1.     数据备份一键式操作 由于

云数据库Redis版主从热备高可用方案

引言 高可用(High Available)是线上生产环境所必不可少的重要条件,阿里云数据库Redis版作为一款成熟稳定的数据库产品,针对Redis的特性也支持高可用,本文将介绍云Redis是如何实现这一方案. 架构 目前云Redis有主从版和集群版两种架构,本次主要针对主从版做HA的解析. 下图为主从版架构: 由图可知,云Redis实例有主备两个节点,平时只有Master提供服务,Slave只做热备不提供访问,Slave通过slaveof命令挂载到Master上,不断从Master接收数据,保

一分钟了解阿里云产品:云数据库MongoDB版

一.             概述   阿里云产品种类齐全,今天让我们一起来了解下云数据库MongoDB版(AliCloudDB for MongoDB)吧.   什么是云数据库MongoDB版呢?我来给大家说说吧.   云数据库MongoDB版基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化.并提供专业的数据库在线扩容.备份回滚.性能优化等解决方案.   与自建数据库相比, 云数据库MongoDB版有什么优势呢?我们为您提供更优质的服务:   云数据库

阿里云数据库MongoDB版正式支持3.4、RocksDB、TerarkDB存储引擎

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化.并提供专业的数据库在线扩容.备份回滚.性能优化等解决方案. 了解更多 MongoDB 3.4 社区版于2016年年底正式发布,目前已经历10次的小版本迭代,在经过长时间的内部场景测试后,阿里云数据库团队正式支持 MongoDB 3.4,让用户直接在云上享受稳定的数据库服务. MongoDB 3.4 的主要功能改进参考这里,简单总结一下就是: 更快的主备同步,参考 MongoD

云数据库HBase版重磅商业化上线

随着近些年互联网行业的飞速发展,很多业务的数据量都在急剧的增大,传统的RDBMS数据库逐渐撑不住,逐渐出现读写分离策略.分库分表策略.从数据结构上看,非结构化数据的量在不断剧增.总之,从架构搭建.程序调用到后期运维上,数据库的复杂度变的越来越高,且很多中小型的公司,数据规模都达到了数TB.数PB的级别,对数据的吞吐要求也达到了百万QPS,甚至是千万级别. HBase的起源 在这样的大背景下,HBase出现了,它是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Goog

性能最高提升300%!阿里云数据库HBase版上线

阿里云正式推出云数据库HBase版(ApsaraDB forHBase),100%兼容HBase协议的分布式数据库,基于HDFS分布式文件系统,支持高达10PB的存储空间,满足最高5000W QPS的随机读写场景.能支撑海量结构化数据存储.高并发访问等需求,适用于物联网.车联网.监控.安全风控.即时通讯.消息存储等行业场景用户. 产品内核架构深度优化,运维效率大幅提升 阿里云数据库专家对原生HBase内核源码进行深度优化,让云数据库HBase版(ApsaraDB for HBase)的读写性能相

一分钟了解阿里云产品:云数据库Memcache版

一.             概述   阿里云产品种类繁多,今天让我们一起来了解下云数据库Memcache版(AliCloudDB for Memcache,原OCS)吧.   什么是云数据库Memcache版呢?   一句话,云数据库Memcache版是基于内存的缓存服务,支持海量小数据的高速访问.     那么,云数据库Memcache有什么优势呢?我来给大家说说吧.   云数据库Memcache可以极大缓解对后端存储的压力,提高网站或应用的响应速度.云数据库Memcache支持Key-Va

云数据库redis版的性能测试

测试环境和命令: 阿里云VPC环境, 4 x (1核, 2G ECS) 用于运行codis proxy codis proxy后端slot均衡的接2个或4个阿里云redis实例 内网SLB连接4个codis proxy 只单纯测试单条读写, 命令如下: ./redis-benchmark -a <auth-passwd> -h <slb-addr> -c 64 -n 500000 -P 100 -r 1048576 -d 256 -t get,set 测试结果: Spec. Val