云HBase助力物联网建设

引言

从有线互联网到无线互联网,本质是加强了人与人之间随时随地的关联。下一个互联的时代是万物互联,也就是物联网。有人说,这个是第三次信息革命,不管咋样,这都会产生大量的数据。
举一个例子,杭州市有200w辆汽车(具体肯定比这个多),我们给每辆车安装一个传感器,每隔10s,上传1k的数据量,说明这个车的位置,一些情况。QPS为20w,1年的数据量为:36536024200w1k=5.73P ,如果不做任何的容灾,每个磁盘4T来算,则需要 5.73*1024/4T=1466块磁盘,做一些容灾,则至少需要2000+的磁盘。这些数据蕴含着巨大的价值,分析这些数据后,则会改变整个杭州的交通。

架构

在我们传统架构下,一般会使用关系型数据库,关系型数据库索引结构基本上都是类B+树,随着终端设备数增多,读写压力剧增,读写延迟增大,数据库面临崩溃;其次,关系型数据库也无法做到存储容量无限扩容,目前有一些分库分表的方案,实现起来比较复杂,往往有较多的限制。

物联网最大的特点写入量大,要求延迟低,且数据存量巨大。HBase基于LSM,把磁盘的随机写改为顺序写,写吞吐高,不受SSD随机写入放大干扰,也不受空间放大的干扰。目前HBase非常满足物联网存储需求,存储数T、数P甚至百P的空间,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。具体物理网的大致结构如下:

主要流程:
1、一部分实时,直接走MQ,到流式系统,做一些实时的分析,后写入HBase。
2、一部分写入HBase,一般是全量数据,后接入Hadoop/Spark,做一些离线分析,后续结果写入HBase中。
往往在使用HBase时,使用的rowkey设计是:设备ID+地点+xxx+时间xxx

每个云公司,都在前端的一些环节做了很多事情,比如提供硬件支持、协议支持、ECS可以使用一些弹性方案,当然也有不少公司是自己做方案。
针对数据从云HBase到EMR Hadoop/Spark中,目前有两种方案,其一是Hadoop、Spark直接连接云HBase分析;其二是云HBase提供一些导出数据的功能,在EMR中自动生成一张表(目前云HBase在实现中)。

云HBase地址:https://cn.aliyun.com/product/hbase

后记

本章节,简单介绍了使用云HBase支持物联网的方案,关于更多的云HBase的讨论,请关注:

时间: 2024-11-04 00:00:06

云HBase助力物联网建设的相关文章

云HBase建设之开篇

前言 阿里云云HBase团队在2月份推出了云HBase产品,此款产品的内核在集团内部已经使用了6年之久,那么跟社区版本的HBase有怎样的区别,我们又做了怎样的产品化,本系列将会为用户详细介绍这些点.云HBase地址:https://cn.aliyun.com/product/hbase 云HBase 云HBase的内核是基于开源社区1.1版本系列,在此之上深度改造,之前阿里在较早版本有较多的优化也会渐渐迁移到此版本中.目前在内部服务了整个集团的大数据结构化存储需求,比如:平台类需求:日志同步服

领动云官网助力企业建设具有国际影响力的营销类网站

作为一名创业者,王华创立了一家外贸公司,意识到企业营销的重要性,他准备建一个专业的http://www.aliyun.com/zixun/aggregation/37464.html">营销型网站,联系了很多家建站服务商,在沟通过程中才发现选择建站服务商不是想象中 那么容易,市场上建站服务商太多了,而且服务价格参 差不齐,便宜的报价几百,贵的上万,这些服务商中不乏是一些小作坊,信誉无法考证,王华虽然不愿意投入太多的金额放在营销型网站建设上,但又不愿意贪图一时的便宜,售后却有很多麻烦事儿.作

学术界关于HBase在物联网/车联网/互联网/金融/高能物理等八大场景的理论研究

引言 HBase在互联网领域有广泛的应用,比如:互联网的消息系统的存储.订单的存储.搜索原材料的存储.用户画像数据的存储等,除此之外,在其它领域也有非常多的应用.这得益于HBase海量的存储量及超高并发写入读取量.HBase在09年就开始在工业界大范围使用,在学术界,也有非常多的高校.机构在研究HBase应用于不同的行业,本文主要梳理下这些资料(主要是中文资料,有一些是硕士论文\期刊,便于广大读者阅读,特别选择了中文资料),很多都在工业界使用了. 由于涉及到版权,笔者提供链接,不提供资源下载,请

云时代的大数据存储-云HBase

为什么 纵观数据库发展的几十年,从网状数据库.层次数据库到RDBMS数据库,在最近几年的NewSQL的兴起,加上开源的运动,再加上云的特性,可以说是日新月异.在20世纪80年代后,大部分的业务确定使用RDBMS数据为存储基础.新世纪开始,随着互联网的发展,数据量的增大,慢慢RDBMS数据库撑不住,就出现了读写分离策略.随着压力增加,Master撑不住,这时就要分库,把关联不大的数据分开部署,一些join查询不能用,需要借助中间层.随着数据量的进一步增加,一个表的记录越来越大,查询就变得很慢,于是

传感器助力物联网打造1000亿市场

面对疲软的传统电信业务市场,以及还没有占据收入核心位置的终端业务,华为眼下急需开辟新的增长空间. 据了解,在2016世界移动大会前夕,华为延续了去年全联接世界的主题,面向千亿美元级的视频产业.万亿美元级的企业IT云转型市场,以及即将出现10倍用户增长的物联网行业,首次提出了运营商数字化转型的五大方向:大视频.大IT.大运营.大架构.大管道. 华为常务董事.产品与解决方案总裁丁耘在接受腾讯科技专访时表示,"通信行业没有出过大的泡沫,从华为的视角来看,我们预判2016年产业发展比较乐观.华为会在本次

全球5G网络快速推进 助力物联网发展

提到5G,我们应该从物联网说起. 一.什么是物联网? 物联网是通过各种信息传感设备及系统(传感网.射频识别系统.红外感应器.激光扫描器等).条码与二维码.全球定位系统,按约定的通信协议,将物与物.人与物.人与人连接起来,通过各种接入网.互联网进行信息交换,以实现智能化识别.定位.跟踪.监控和管理的一种信息网络.这个定义的核心是,物联网的主要特征是每一个物件都可以寻址,每一个物件都可以控制,每一个物件都可以通信. 二.现阶段物联网的现状 经过近几年的培育和探索,全球物联网正从碎片化.孤立化应用为主

中国电信赵建军:打造“五专体系” 助力物联网业务升级

在近日举行的"窄带物联网高峰论坛",中国电信物联网分公司总经理赵建军上表示,万物的互联只是第一步,最终进入到万物智能,通过大数据的深度分析,进而对行业/产业进一步提高控制,进而提高效率. 在未来的30年中,将发生许多变化.当前大数据.人工智能.物联网.云计算,这样一些词频频地出现在我们生活当中:物联网的发展当前处于一个非常蓬勃的阶段,物联网带来了巨大的机遇,到2020年,全球总的物联网连接数可能达到250亿左右. 其中,蜂窝物联网的连接预计会达到50亿左右.这样一个海量的连接,不仅仅带

大数据时代结构化存储云HBase技术架构及最佳实践

在10年,阿里研究HBase,是为了解决阿里容量及并发的实际问题,按照数据库要求,阿里深入HBase技术,并致力于保障稳定性和性能,目前已经有10000台规模,数百个集群,大约1亿的QPS,服务整个集团的业务.17年,把这部分能力也开放给公有云客户.本文中,阿里云高级专家封神带来了主题演讲<大数据时代结构化存储云HBase技术架构及最佳实践>,介绍HBase的应用选择.实战案例.技术平台解读以及后续的规划. 为什么应用HBase 一般而言,传统关系型数据库面临着成本.容量.QPS.分析等多方面

紫光云现 助力制造物联

9月11日,2017世界物联网博览会期间,紫光集团高级副总裁王竑弢接受记者专访.向大家阐述了紫光集团从芯到云.在工业云中深耕,利用物联网技术为制造业打造工业云服务平台的愿景.   从芯到云 抢占战略至高点 首先,王总向大家介绍了一下紫光集团的背景和发展战略: 1988年紫光集团成立,到1993年公司法发布,开始有了紫光这个商号,既是清华的公司,也是清华第一家上市公司.目前清华有4家上市公司,整个员工人数是3万7千人,总体的资产有超过两千亿,今年的盈收在600亿到800亿这样一个区间.紫光集团战略