阿里云高性能时序数据库 HiTSDB 启动公测,为物联网而生的数据库!

摘要:2017云栖大会·上海峰会上,阿里云发布了面向物联网场景的高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 。HiTSDB 可支持每秒1000万时序数据点写入;具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%;提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力。

HiTSDB 是一种高性能、低成本、稳定可靠的在线时序数据库服务;提供高效读写,高压缩比存储、时序数据插值及聚合计算。是物联网(IoT)设备监控系统 ,企业能源管理系统(EMS),生产安全监控系统,电力检测系统等行业领域的专业数据库。

HiTSDB 打造物联网智慧园区

HiTSDB 已经在阿里巴巴内部孵化多年,在阿里巴巴集团已经支持了20多个核心业务场景,比如阿里智慧园区的物联网(IoT)建设。

智慧园区主要解决办公园区的设备的管理和智能控制。设备管理主要是将设备接入到统一的设备管理平台,同时对所有设备的运行情况进行监控,及时发现故障设备,了解整体的设备运行情况以便于做出相应的决策。

而智能控制就是系统能够根据设备的运行状态,通过某些规则的设定自动的进行各种调控,比如:当某个办公区域的人数大于20人时,可以自动开启亮灯,小于20人是可以自动关灯,或者当某一区域的一氧化碳的水平高于预警值,则自动启动报警开关,对于园区的安全管理也非常必要。

对于技术而言,设备的监控和智能控制的规则的匹配,本质是数据的收集和监控分析。

园区的设备种类繁多,包括摄像头、电灯、空调、空气检测,这些设备上都有非常多的传感器,这些传感器每一时刻都在实时的产生数据,这些数据随着时间的推进,会在时间轴上产生一些列的数据,就是我们说的时序数据,比如温度、湿度、用电量等。要实现设备的监控管理,其实就是将这时序数据进行实时的采集存储和分析展现,而 HiTSDB 就是时序数据领域的专业数据库。

HiTSDB 集群可支持每秒 1000 万的时序数据点写入

HiTSDB 具备关系数据库及NoSQL 数据库所不具备的写入能力。

智慧园区以及其他的IoT场景,设备的规模通常是万级别至百万级别,每个设备都实时产生数据,需要将实时数据快速的写入到数据库中,那么每秒就要写入上百万甚至上千万的实时数据。

百万甚至千万级别的实时数据写入对于数据库并发写入的压力非常巨大,使用关系型数据库完全不可行。 因为 InnoDB 的写入性能是很有限的,实际测试在24台机器上,存储使用SSD硬盘,一秒钟只能持续写入只有两万左右,主要原因在于B树索引。InnoDB 的索引是一个B树,这个B树的更新有很大的开销。虽然我们可以通过一些办法优化,但时序数通常是一个多维数据,通常是 ADhoc 的查询,为了优化所有排列组合查询,需要建很多多列的索引,这些索引每次在写的时候每个都需要更新,所以就会导致很多的IO。

而 HiTSDB 针对时序数据库的进行写入优化,基于时间序列的时间线数据结构进行存储写入,实际业务使用场景中最高支持到每秒 1000 万的时序数据点写入。基于阿里云 4C8G规格的 ECS,单台平均达到10万/秒的数据写入,峰值达15万/秒。

HiTSDB 具备领先的时序数据分析技术优势

在数据查询方面,HiTSDB 也具备领先的技术优势。在时序数据领域“插值(interpolation)”,“降精度(DownSimple)”以及“聚合计算(Aggregation)”是常见的业务需求。举个例子, 智慧园区的业务系统需要查看一个楼宇的某盏灯的耗电量情况,那么就需要把这盏灯的耗电量数据从数据库中查询并展示出来,如果由于采集的故障导致某个时刻用电量数据缺失,那么需要通过特定算法来近似的估算出这个数据,这个计算补全数据的过程就是“插值”。而当需要查看这盏灯一年的耗电趋势情况时,通常只需要计算出每一天的耗电量,进行查看,而不需要把每一个时刻采集的数据全部输出出来,这个将原始精度转化为业务需求精度的过程就是“降精度”。而如果要统计某一个楼层或者楼宇的用耗电量整体趋势数据时,就需要将所有统计范围内的灯具的耗电量数据做“合并统计”,这个类似的统计过程就是Aggregation。

时序数据降精度是在时间序列维度上做的。对于关系数据库来说,首先要把时间序列维度拿出来,然后在中间插值,而实际上 SQL 是按点来操作的。所以如果要做降精度的话,需要用一个值查询把整条时间序列上的数据查询出来,插好值之后才能做时间序列之间的聚合,那么服务和 SQL 服务器之间的吞吐量非常大,相当于 SQL 只是一个数据通道需要把所有值都拉出来运算一遍,这个查询性能会非常慢,并且每一次计算都需要重新拉取数据,相对 HiTSDB,这个性就能差了几百倍。

HiTSDB 支持线性插值,可以尽量弥补数据异常缺失造成的统计失败。HiTSDB 支持 Max ,Min ,AVG 等各种降精度的计算函数,同时也可以通过“预降精度”的方式,将业务精度的数据在入库的过程中计算完成,提升查询的效率。HiTSDB 在的空间聚合 Aggregator 支持也非常全面,支持 ADhoc 查询,HiTSDB 通过引入倒排索引和数据分片提升检索时间序列的效率,通过并行计算架构,整体计算性能提升非常明显。

HiTSDB 兼容 OpenTSDB 协议,写入性能提升20倍,压缩效率提升10倍。

HiTSDB 兼容 OpenTSDB 访问协议。OpenTSDB 是时序数据库领域相对活跃的技术产品,HiTSDB 通过技术优化后相对于 OpenTSDB 写入性能提升20倍以上。HiTSDB 压缩效率相比较 OpenTSDB 提升10倍左右,通常原始时序数据的大小在 200-300 Byte,OpenTSDB 单数据点消耗约20 Byte,HiTSDB 单数据点消耗约 2Byte,通过 HiTSDB 可以节约90%以上的数据库存储成本。

HiTSDB 所具备的高效数据写入和高压缩比的特性,以及阿里长期业务实践的所提供的稳定性保证,结合阿里云上丰富的产品生态,可以帮助 IoT 企业快速构建自己的智慧物联网监控分析系统,也可以帮助传统的石油化工及制造企业插上物联网的翅膀,打造属于企业自己的智慧系统。

现在,HiTSDB 在阿里云官网启动免费公测。

公测名额有限,立即申请http://click.aliyun.com/m/27108/

时间: 2024-12-23 06:59:25

阿里云高性能时序数据库 HiTSDB 启动公测,为物联网而生的数据库!的相关文章

高性能时序数据库 HiTSDB 启动公测,为物联网而生的数据库!

HiTSDB 是一种高性能.低成本.稳定可靠的在线时序数据库服务:提供高效读写,高压缩比存储.时序数据插值及聚合计算.是物联网(IoT)设备监控系统 ,企业能源管理系统(EMS),生产安全监控系统,电力检测系统等行业领域的专业数据库. 查看产品发布详情,申请公测 HiTSDB 打造物联网智慧园区 HiTSDB 已经在阿里巴巴内部孵化多年,在阿里巴巴集团已经支持了20多个核心业务场景,比如阿里智慧园区的物联网(IoT)建设. 智慧园区主要解决办公园区的设备的管理和智能控制.设备管理主要是将设备接入

阿里云SSD云盘第二轮公测 性能提升20倍

本文讲的是阿里云SSD云盘第二轮公测 性能提升20倍6月9日,阿里云开启了"大杀器"SSD云盘的第二轮公测,其IOPS提升到了20000,是当前云盘性能的20倍.同时,盘内数据全部实时落盘,可靠性9个9.尤其适合中大型关系数据库.核心业务系统以及中大型开发测试环境使用.SSD云盘已在杭州地域公测,公测期至7月15日免费使用. IOPS(Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一,一个普通的7200转的家用磁盘的IOPS

九城《名将三国》今日启动公测

1月8日下午消息,九城<名将三国>今天启动公测.九城方面表示,下午16点,已全面开放<名将三国>电信和网通大区所有服务器.针对出现玩家排队等候一事,九城表示将增开服务器容纳排队玩家. <名将三国>是一款以三国为历史背景的多人在线动作类角色扮演网络游戏,由第九城市耗时三年.耗资数千万自主研发,先后经过技术测试和终极内测.这款游戏采用横版卷轴的2D画面,在游戏操作方面采用即时格斗模式. 自第九城市宣布实施2亿Q币计划后,<名将三国>引起业界.玩家的广泛关注.据悉

网易游戏《武魂》将于3月28日启动公测

<武魂>将于3月28日上午正式启动公测3月22日消息,网易首款电影级动作武侠网游<武魂>昨日召开公测首映发布会.发布会首次公布<武魂>电影级研发最新成果视频与公测版玩法内容,并宣布将于3月28日上午正式启动公测.据介绍,公测版<武魂>是网易首款尝试运用"电影+网游"双重技术研发,将电影业界的经验.标准和制作技术,与游戏开发技术进行融合.努力将<武魂>打造成一部可以玩的武侠"电影",让玩家每一场战斗都犹如亲身

“云上超算”的愿景,阿里云高性能、异构计算抢先实现了。

最初见到"超算平民化"的概念是在2009年<纽约时报>网络版刊登的一篇文章: 当时,云计算刚刚兴起,超级计算机开始大量采用标准化硬件架构,这两个趋势让HPC通过云服务的形式来提供计算力的新模式成为可能.在当时看来,"云上超算"并不遥远,其所带来的"超算平民化"亦将带来超算发展的一场新的变革. 在近年的中国TOP100榜单中,有超过半数的超算所从事的都是互联网应用--互联网服务.大数据应用.云计算.电子商务.视频服务等等.相比过去,超算

百度手机输入法iPhone版本启动公测

日前,百度手机输入法联合iPhone社区威锋网,开启了iPhone版本的公测.百度手机输入法对iPhone手机系统操作平台全面支持,采取多样的输入方式和"拇指键盘"模式,受到了网友的追捧,被誉为"最好用的iPhone输入法". 来自Quantcast市场调研机构的数据显示,在全球智能手机市场,苹果iPhone的iOS市场占有率高达56%,位居第一.而在中国市场,iPhone粉丝同样狂热,据预计,目前国内iPhone手机保有量超过200万部,即便来自联通的行货,也有超

性能测试服务(PTS)公测

性能测试服务(Performance Test Service,简称PTS)是集测试机管理.测试脚本管理.测试场景管理.测试任务管理.测试结果管理为一体的性能云测试平台.针对阿里云用户复杂的分布式应用,PTS可以快速扩容,动态配置域名,满足不断增长的集群压测需求.   PTS优势 独特性:基于阿里云平台构建服务体系:测试环境.测试工具高度仿真. 专业性:分布式并发压测:压测日志精准分析:专业测试咨询服务. 标准化:去除线下测试差异性:测试策略.测试手段统一:测试结果可信度高.   PTS功能 环

IUNI OS 适配Galaxy Note 3启动公测

IUNI OS for Galaxy Note 3有奖公测启动 类型:厂商稿 作者:IUNI 时间:2014-06-10 05:35:54 在经过数轮内测之后,适配三星Galaxy Note 3的IUNI OS即将于6月9日全面开放公测.届时,那些既希望享受Note 3宽广视野,又追求纯净.清新UI风格的机友,就可通过IUNI OS官方论坛或IUNI OS的合作伙伴刷机精灵网站,下载适配Note 3的IUNI OS公测版本,第一时间让手中的Note 3褪尽铅华.重现清新.在体验刷机乐趣的同时,机

新浪微博达人启动公测:主打真实草根舞台

已有 网友成功申请到了微博达人的标志 新浪科技讯 7月26日上午消息,来自新浪微博官方消息显示,新浪微博达人今日起开始"'不删档'公测",公测期间成功申请成为微博达人的用户,将直接获得红色五角星标志,无需经过升级流程.两周后公测结束,将同步推出微博达人升级体系. 此前,新浪微博已经通过内测的方式邀请少量用户入驻,内测期间微博达人已经引发了大量用户的申请.在微博上搜索"微博达人"相关微博量超过了20万,在开设的一个"微博达人 意见反馈"微群里,已经