HybridDB for MySQL 实现在线与离线数据分离的实践

本文将重点介绍HybridDB for MySQL 实现在线与离线数据分离的实践,特别推荐!

核心业务简介

任务中心汇聚了集团的所有工作流任务,并提供统一的入口给用户处理集团的工作任务。

面临主要问题

1、单表存储量超高目前已有4千万的数据,并且在急速的增长。预计年增长在200%以上。 
2、业务需要大范围的查询由于业务需要查询多张表,比如查询在线,再查离线表。而且频率和复杂度在提升。会导致慢sql的出现。

如何架构改造

在线数据与离线数据隔离,在数据访问层面不相互影响 
在线数据到离线数据必须实时同步,保障高稳定性 
定时清理在线表的离线数据。保证在线存储的合理使用,保证数据从产生到移除的闭环过程。 
保证离线存储容量问题,离线数据不会清除,所以需要有合理的机制或充足的空间来保证离线数据的存储。
离线数据太多的情况下,要保证数据查询的效率,不能太慢。

这个过程进行了多种技术方案的调研。最终选择了基于 HybridDB for MySQL 的在线离线数据分离。

选型产品优点

  • 1、能解决在线数据过多的问题
  • 2、能解决在线与离线同一个库离线影响在线的问题
  • 3、在阿里云上使用比较多,方案成熟
  • 4、基本完全兼容MySQL
  • 5、通过DTS同步,保证数据的可靠性、实时性
  • 6、存储是线性扩展,不用担心存储容量问题
  • 7、hybridDB是新型的HTAP(事务与分析一体)关系数据库,适合日志、消息轨迹、历史等数据的存储

对比性能

参考数据量查询扫描行数的对比

从上图来看,小数据量的SQL,MySQL响应快于HybridDB,随着数据量的增加,MySQL的性能远不如HybridDB。 
所以,在小数据量的SQL推荐MySQL,超过千万的数据量查询,推荐使用HybridDB for MySQL。

HybridDB for MySQL

她是同时支持在线事务(OLTP)和在线分析(OLAP)的关系型 HTAP 类数据库。
HTAP是Hybrid Transaction/Analytical Processing的简写,意为将数据的事务处理(TP)与分析(AP)混合处理,从而实现对数据的实时处理分析。

1、HybridDB for MySQL采用一份数据存储来进行OLTP和OLAP处理,解决了以往需要把一份数据进行多次复制来分别进行业务交易和数据分析的问题,极大的降低了数据存储的成本。 
2、因为采用一份数据,HybridDB for MySQL免去了以往在线数据库(Operational Database)和数据仓库(Data Warehouse)之间的海量数据加载过程,极大的缩短了数据分析的延迟,使得实时分析决策系统成为可能。 
2、HybridDB for MySQL兼容MySQL的语法及函数,并且增加了对Oracle常用分析函数的支持,100%完全兼容TPC-H和TPC-DS测试标准,从而降低了用户的开发、迁移和维护成本。

主要使用场景

1、大数据存储与分析:可以基于一份数据进行事务(OLTP)与分析(OLAP)混合处理,免去了在线数据库和离线数据仓库之间海量数据的复制、传输、加载和存储。 
2、物联网:物联网有着数据采集点多、数据总量大、并发高的应用特点,往往需要使用分库分表和相应的数据分发技术才能承担业务流量。他分布式架构屏蔽了分库分表的细节,只对用户提供一个数据库连接地址和相应的逻辑库表,让用户的开发和运维成本降低到最低。 
3、历史数据: HybridDB for MySQL可存储海量的历史数据(最高可达到PB级),并且可以通过数据压缩来进一步节省存储空间,另有价格低廉的普通HDD硬盘存储供用户选择,极大减少了数据存储的成本。

对你是否有帮助,赶快查看详情

时间: 2025-01-20 09:56:13

HybridDB for MySQL 实现在线与离线数据分离的实践的相关文章

基于HybridDB for MySQL的企业ODS方案

随着DT时代的到来,数据的价值日益凸显.企业积累的数据越来越多,数据库的规模也达到成百上千个实例,数据的规模更可能达到上百TB甚至PB级.如何以合理的成本管理并维护海量实例,利用尽可能短的时间窗口进行挖掘分析,成为各个企业IT管理中的核心问题. 当前方案,在线处理和离线分离,系统架构详见下图  常见业务场景 1.为了满足分析需要,ETL策略为ELT(Extraction-Loading-Transformation),将全量数据同步到大数据平台中(MaxCompute.EMR.或自建Hadoop

TokuDB · 引擎特性 · HybridDB for MySQL高压缩引擎TokuDB 揭秘

HybridDB for MySQL(原名petadata)是面向在线事务(OLTP)和在线分析(OLAP)混合场景的关系型数据库.HybridDB采用一份数据存储来进行OLTP和OLAP处理,解决了以往需要把一份数据多次复制来分别进行业务交易和数据分析的问题,极大地降低了数据存储的成本,缩短了数据分析的延迟,使得实时分析决策称为可能. HybridDB for MySQL兼容MySQL的语法及函数,并且增加了对Oracle常用分析函数的支持,100%完全兼容TPC-H和TPC-DS测试标准,从

分布式HTAP数据库PetaData(HybridDB for MySQL) —— OLTP与OLAP一站式解决方案

一.前言       在大数据推动行业发展的年代,大型企业级应用往往选择多种数据库产品,分别支持在线交易.报表生成.日志存储.离线分析等,用以驱动业务的高速发展,但这种组合式解决方案,需要精细的控制不同产品间的数据流转和一致性问题,使用难度颇高,每个数据库产品间的数据同步和冗余,也带来了很高的成本开销,进一步限制了企业级应用的发展.       近年来Gartner提出了HTAP数据库概念,一个数据库既能支持OLTP(在线事务处理),又能支持OLAP(在线分析处理),涵盖大部分企业级应用的需求,

JSP中早就有了类似.Net DataSet那样的离线数据访问

js|访问|数据 JSP中早就有了类似.Net DataSet那样的离线数据访问了,抛弃ResultSet,拥抱Result吧! 微软的.NET平台上面的数据访问有一个特点,就是数据查询的结果,可以放在内存中,以XML格式进行描述,不需要一直与数据库保持在线连接,用DataSet + Data Adapter来实现! 而在JDBC中,我们通常使用javax.sql.ResultSet类来存放放回的数据,它的流程和生命周期如下: 使用ResultSet来返回数据库查询结果 Client --> C

如何支撑HTAP场景——HybridDB for MySQL系统架构和技术演进

随着DT时代的到来,企业占有的数据越来越多,其规模可能达到上百TB甚至PB级,如何以合理的成本管理并维护这样一个数据库也成为各个企业IT管理中的核心问题.HybirdDB for MySQL是基于HTAP资源的数据库,同时支持OLTP,在一份数据上做事务,又支持实时分析.10月12日的云栖大会·HTAP技术专场中,阿里云高级专家王骞探讨如何如何支撑HTAP场景,并重点分享了如何利用RDS技术实现HTAP业务,以及HybridDB for MySQL的系统架构和技术演进. 技术现状 首先看看技术现

【沉淀】实例迁移、Insert和写入性能——数倍,甚至数十倍提升,HybridDB for MySQL负责人王骞谈自己经历和收获

<沉淀>是展示专家风采的人物栏目.它呈现每个专家独一无二的人生经历.认识和感悟的同时,也能帮助你沉淀技术,收获对技术和人生的判断.我们的想法是:"若你想精进为一个很厉害的人,不妨细细品味这些技术牛人背后的沉淀."如果你想了解这些云栖专家更多分享时,请点击云栖专家频道,当然我们也欢迎你往前走一步,成为我们的云栖专家(https://yq.aliyun.com/expert),与技术大牛一起"煮酒论英雄". 技术人是怎样的一群人?一千个人,或许有一千个答案.

mysql xtrabackup在线搭建主从

使用xtrabackup进行在线的主从搭建: [root@mysqlserver var]# tar -xvf Percona-XtraBackup-2.3.4-re80c779-el6-x86_64-bundle.tar   --解压包 percona-xtrabackup-2.3.4-1.el6.x86_64.rpm percona-xtrabackup-debuginfo-2.3.4-1.el6.x86_64.rpm percona-xtrabackup-test-2.3.4-1.el6.

MySQL超时参数以及相关数据集成、DataX数据同步案例分享

一.背景 MySQL系统变量提供关于服务器的一些配置和能力信息,大部分变量可在mysqld服务进程启动时设置,部分变量可在mysqld服务进程运行时设置.合理的系统变量设值范围,是保障MySQL稳定提供服务的重要因素.本文主要描述MySQL数据库的超时timeout相关的一些系统变量,部分参数同程序应用中常见到的CommunicationsException: Communications link failure异常息息相关. 本文也结合数据同步的场景,对使用DataX3进行MySQL数据同步

MySQL · 实现分析 · HybridDB for MySQL 数据压缩

概述 数据压缩是一个把输入数据集按照一定的算法变换成更小的数据集的过程,解压是压缩的逆过程.如果算法对数据本身的语义了解得越多,则越可能利用语义信息进行针对性的处理,获得更好的压缩效果.数据库系统中用得比较多的压缩算法可以分为两大类:基于块的压缩.基于值的压缩.前者更为常见一些,在 OLTP 以及 OLAP 系统中都会用到,例如 InnoDB.TokuDB.HybridDB 中的块压缩:后者更多的用在 OLAP 的列存引擎内,例如 HybridDB for MySQL 中的列压缩.为了区别它们,