用好阿里云分析型数据库大存储实例,大幅降低大数据应用成本

在企业的业务中,经常拥有海量的历史结构化数据,虽然不会高频度的使用,但是不排除会不定期的被检索、查询(检索频率一般在100-1000次每天)。如物联网、交易历史详单查询、监控/日志数据检索等场景。这时企业需要廉价的存储计算方案,但是又不能将数据存储于离线计算系统或归档到对象存储系统,就需要使用分析型数据库的大存储实例了。

SATA、SSD、内存分析混合存储,提供低廉的存储成本(不同规格从0.093元/GB/天到0.051元/GB/天),仅为分析型数据库高性能实例的1/10,而又通过先进的动态二级缓存和分段索引技术提供相对较好的查询检索性能以及与高性能实例等同的数据与服务可用性。

大存储实例工作原理

分析型数据库每一个大存储实例配备内存、SSD缓存和使用SATA盘的分布式存储三级存储设备。用户的数据存储在SATA盘上,具有极低的存储成本。根据用户的查询频度以及获得多个专利的智能缓存算法,分析型数据库将用户高频查询或影响查询性能的关键数据自动换入到SSD缓存甚至内存中以加速用户查询。因此使用大存储实例时用户会发现一份数据前两三次查询较慢,但是随后查询速度便会快了很多,方便用户使用针对历史数据检索后再进行详细研判分析的应用。

另外用户若使用实时写入表,当天写入(一般是前一天20:00至当天20:00,实为未经optimize table的增量数据部分)的数据全部暂存于SSD中,每日自动的optimize table运行后会刷到SATA存储上。

大存储实例适合IO数据量和并发量较低的查询,如筛选率很高的历史数据检索等场景,在一次查询IO较多的情形(如大量数据进行join、全表group by、全表排序等)性能较高性能实例有比较大的差别。另外集群的网络规格会对大存储实例的性能有较大的影响,例如s1n/s2n实例采用双万兆网集群,性能较采用千兆网集群的s1/s2实例好3-5倍。

大存储实例主要应用场景

  • 企业海量历史库,如订单流水、GPS轨迹分析、电信话单检索、日志分析、监控数据检索、物联网传感器数据检索等;
  • 和分析型数据库高性能实例结合使用,近期高频度查询的数据放置在高性能实例(使用最大二级分区数功能管理保存的天数),全量历史数据放置在大存储实例中,应用程序通过用户选择的时间区间确定查询的数据库连接,以同一份代码兼得高性能查询和历史数据低成本存储。

大存储实例应用实战

企业内部BI系统

企业内部BI系统通常具有热点数据集中(近期数据或一段时间内要集中研究的数据集),整体并发较低,对查询响应时间的要求通常也不是很苛刻。所以在成本敏感的情况下,可以全部是使用分析型数据库大存储实例,获得很高的性价比。

基于分析型数据库以及其他阿里云、阿里云"数加"系列产品搭配,提供了企业内部BI的完整解决方案:

可以看到阿里云提供了从数据采集、同步,到可视化大屏、BI报表、以及灵活构建用户的CRM/DMP等基于客户维度的分析场景(使用画像分析作为中间件构建)。

冷热数据分离的在线业务系统

大部分大数据业务系统,都具有依时间来区分数据冷热的特征。例如最近3个月的数据是热数据,有很高的查询并发,并且需要很快速的查询响应时间。而三个月之前的数据均是冷数据,可能有累计多年的数据,极少查询但是又不能不提供查询。

这时就可以同时使用分析型数据库的高性能、大存储两个实例,数据同步时双写这两个实例,而利用分析型数据库提供的表最大二级分区数功能,以日期作为大表的二级分区列并在两个实例的表中设置不同的二级分区数(例如高性能实例表90,大存储实例表365),分析型数据库就会自动淘汰超过日期的对应数据,保证高性能实例只有最近90天,大存储实例存储最近一年的数据。

分析型数据库的高性能实例和大存储实例的SQL支持完全相同,前端应用只需要根据用户点选的时间区间来决定使用哪一个实例即可,不需要对查询SQL做任何修改,就可以兼得热点数据的高速查询和历史冷数据的低成本存储。

根据业务适配区分存储模式的综合应用

还有一种应用场景是,根据不同的应用类型,选择不同的实例进行处理,这在专有云中非常常见。例如以查询返回列不多(20列以内)的多条件明细查询为主的应用,就比较适合大存储实例(前提是并发不高)。而进行大量的join、union(all)、group by的应用,例如综合研判、复杂的报表或其他高并发要求的应用就比较适合高性能实例。

大存储实例规格说明和定价

阿里云分析型数据库产品详情:https://www.aliyun.com/product/ads

更多精彩活动:【有“福”同享.第二季】每日一分享,虚机邮箱免费用

时间: 2025-01-01 06:06:48

用好阿里云分析型数据库大存储实例,大幅降低大数据应用成本的相关文章

分析型数据库+数据传输,构建企业级实时数仓

什么是实时数仓 传统的离线数据仓库,将业务数据集中进行存储后,以固定的计算逻辑定时进行ETL 和其它建模后产出报表等应用.离线数据仓库一般采用每日或每几个小时进行一次计算的方式,计算和数据的实时性均较差,业务人员无法根据自己的即时性需要获取几分钟之前的实时数据. 而虽然软件技术和硬件的发展,实时数据仓库一类解决方案越发流行.实时数仓同时具有计算的实时性(计算在用户查询时发生,可自由变换,查询速度快),和数据的实时性(数据产生插入数仓后很短时间内既可以查询到),可以让业务人员在几秒钟甚至几百毫秒的

分析型数据库实时写入功能全面开放

阿里云分析型数据库为客户提供了百亿级海量数据下的毫秒级OLAP查询与分析能力.除了可以通过内建API.阿里云数据集成等途径方便的批量导入大量数据外,分析型数据库目前开放了通过insert/delete sql直接写入或删除数据的功能. 通过insert/delete提交的数据变更,一般可以在30s-60s之间就可以查询到.在最佳实践上,如果想达到最高的写入性能,在网络带宽允许的情况下(参考带宽:一个c1 ECU 2MB/s,一个c8 ECU 8MB/s),可以每个insert中进行批量提交30-

数据进入阿里云数加-分析型数据库AnalyticDB(原ADS)的N种方法

从  https://yq.aliyun.com/articles/68208?spm=0.0.0.0.HEVojb&do=login  转载. 数据进入AnalyticDB(原ADS)的N种方法   分析型数据库(AnalyticDB)是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,用户可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索. 想使用阿里云分析型数据,对于大多数人首先碰到的问题就是数据如何进入到分析型数据库中.按照分析型数据库数据表的

一分钟了解阿里云产品:分析型数据库

一.             概述   阿里云产品种类繁多,今天让我们一起来了解下分析型数据库(Analytic DB)吧!   什么是分析型数据库呢?   分析型数据库是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索.分析型数据库对海量数据的自由计算和极速响应能力,能让用户在瞬息之间进行灵活的数据探索,快速发现数据价值,并可直接嵌入业务系统为终端客户提供分析服务.     分析型数据库帮您实

数加分析型数据库:让你的数据探索更灵活、准确、快速响应和高并发

在大数据时代,大家越来越注重数据探索的灵活性.准确性.快速响应和高并发.为此,阿里云数加团队在结合多年应用经验的基础上,推出了分析型数据库. 什么是分析型数据库? 分析型数据库(Analytic DB,原名ADS),是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,能让用户可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索.分析型数据库对海量数据的自由计算和极速响应能力,能让用户在瞬息之间进行灵活的数据探索,快速发现数据价值,并可直接嵌入业务系统为终

分析型数据库受大数据市场追捧

文章讲的是分析型数据库受大数据市场追捧,近期,大数据领域有一些值得关注的动向.首先,EMC和VMware正式公布成立新公司Pivotal.其次,Actian公司宣布收购大规模并行处理(MPP)分析数据库厂商ParAccel,后者还为Amazon云数据仓库Redshift提供了后端支持. 这两个举动都是以分析为中心,并以大数据作为背景. 成立新公司Pivotal,EMC公司"贡献"出Greenplum部门,该部门也做MPP分析数据库产品.VMware则"贡献"出应用开

阿里云今日发布数据库产品HybridDB

本文讲的是阿里云今日发布数据库产品HybridDB[IT168 云计算]12月9日,阿里云宣布数据库产品 HybridDB 正式商业化. HybridDB(ApsaraDB HybridDB)是一款在线MPP大规模并行处理数据仓库的服务.它基于 Pivotal 公司的开源数据库项目 Greenplum Database 开发,并由阿里云数据库团队在云计算架构下深度扩展. 该服务支持了OSS存储.JSON数据类型.HyperLogLog预估分析等功能特性.通过符合SQL2008标准查询语法及OLA

如何用阿里云HiTSDB时序数据库实现百万级海量数据点秒级读写

2017云栖大会·上海峰会上,阿里云发布了面向物联网场景的HiTSDB时序数据库,可支持每秒1000万时序数据点写入:具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%:提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力. HiTSDB的能力脱胎于阿里巴巴多年的实践,面对集群规模拥有独特的分析计算能力,本文将从电商视角对HiTSDB进行深度剖析. 阿里巴巴拥有着全球最大的电商交易平台,2016双十一单日成交额突破了1207亿.而这个庞大的业务规模的背后是

袋鼠云 | 基于阿里云数加平台,助力知名物流企业进行大数据应用

关于申通易物流 上海申通易物流有限公司是申通旗下的一家集电子商务.仓储.传统物流为一体的服务型公司.公司应电子商务大发展时代需求而生,拥有自主研发的易物流仓内WMS(仓库管理系统).EDI(数据接口平台)及OMS(订单处理系统)等,为品牌.商家提供电子商务仓配解决方案及专业电子商务第三方精细化仓配一体化服务,协助电商解决电子商务供应链的管理. 申通易物流依托于申通快递在快递行业的品牌影响力和全国领先的快递配送网络,以及在电子商务行业的多年服务经验,致力打造成为一个专业的电子商务服务提供商,为客户