下面是应用采云间来完成的一个简单业务报表的统计分析,并详细介绍采云间的产品实现。主要涉及几个步骤:
首先同步RDS(Relational Database Service,关系型数据库服务)数据库中的数据到ODPS上。
使用数据工厂执行ODPS SQL。通过“数据分析”进行在线可视化数据分析。
如何同步RDS数据库中的数据到ODPS上呢?采云间内置了数据同步和流转功能,完成RDS与ODPS之间的双向同步只需在采云间配置中心创建RDS和ODPS的连接信息即可。当配置RDS链接信息时,建议该账号只开通表的查询权限。对于这些用户名和密码,采云间会调用阿里云公有的加密服务进行加密保存。
步骤1:进入RDS控制台,点击实例名称,进入RDS管理页面获取实例ID。
步骤2:在采云间配置中心,点击“新建连接配置”,填写RDS实例的用户名和密码,保存配置。同理,可以完成ODPS链接信息的配置。
完成上述操作之后,通过数据工厂创建需要同步的表的结构,然后在任务管理里通过新建“同步任务”的方式,配置数据同步任务,确定提交之后,就可以每天自动进行数据同步了。
重复上述的操作,可以配置多个同步任务,完成每天从生产库里将表中的数据同步到离线分析环境ODPS中,为后续的数据清洗转换作准备。
在采云间控制台上第一次登录数据工厂时,需要输入ODPS的Project名称和对应的Access Key ID和Access Key Secret。点击登录界面的“立即查看Access Key”,找到启用的Access Key ID和Access Key Secret,复制并粘贴。
进入数据工厂,点击“新建SQL文件”,输入SQL语句,点击“执行”按钮,即可完成一个简单的查询。
通常我们会依据业务统计需求,对生产库里同步过来的多个表,进行数据关联处理,生成结果表。
如何通过“数据分析”进行在线可视化数据分析?
首先,需要从ODPS上导入元数据信息,形成数据分析的数据集。
其次,从导入的数据集中,选择一个打开,就可以开始进行数据分析了。整个分析过程的体验非常像在Excle里做透视分析,可以大大降低学习成本。
通过上述介绍,相信大家已经从产品角度对采云间有了一定认知。
如果想了解更多关于采云间,请访问: