客户之声为你探究PB级云数据库HBase

如果有云HBase需求,抢先使用

客户之声

有一家中国领先的车商服务平台,最近在使用云HBase,在实时业务线中,要处理 TB 级的的数据量,同时又要保证读写的效率,在数据库的选择上。经过多重考虑,最终决定采用阿里云HBase 来处理这些数据。

选择阿里云HBase主要基于以下考虑:

1、数据整体的技术栈都是基于Hadoop
HBase是Apache的Hadoop项目的子项目,阿里云HBase完全兼容Apache HBase 的接口,选择阿里云HBase可以更好的同其他组件集成,例如:Spark可以方便读写HBase中的数据;通过 Flume可以将Kafka中的数据写入阿里云 HBase。

2、阿里云HBase可以提供更强大的查询功能
阿里云HBase 完全兼容了社区版本的接口, HBase中原有丰富的过滤器仍可以使用在阿里云 Hbase。同时社区中Phoneix等SQL方案也在逐渐成熟, 后期SQL ON HBase 也有更多的选择。

3、由阿里云承担基础运维, 服务更有保障
HBase要提供线上服务, 服务稳定性的要求更高。对于没有运维经验的团队来说, 阿里云 HBase 是更好的选择。这个也是吸引我们使用阿里云 HBase 最主要的原因。阿里云承诺99.95%的稳定性及9个9的数据可靠性,超过自己可以实现的运维能力。

于是在调研后, 首先被应用到阿里云HBase上的业务是一个新业务:基础服务中的 GIS 服务。存储了大量GPS上报的地理位置数据, 并提供风控后台的数据接口。

使用中的反馈

现在生产数据上线只有两周, 日写入数据GB级别,总体感觉目前系统还没有出现运维问题,解决了后顾之忧,而且与社区版本完全兼容,避免了不必要的工作量。创业公司的时间就是金钱,这里点一个大大的赞。 
经过这次尝试,阿里云的HBase的成绩有目共睹,后续公司内的实时业务也会陆续从自建的HBase迁移到阿里云HBase 中,减少运维的风险。

云HBase介绍

云HBase的内核,是基于开源社区1.1版本系列,在此之上深度改造,之前阿里在较早版本有较多的优化也会渐渐迁移到此版本中。目前服务了整个集团的大数据结构化存储需求。如: 
1、平台类:如目前很流行的kylin,日志同步工具TT,图组件Titan等。此类存放的是平台类数据,作为平台的底层存储使用。 
2、用户行为类:如淘宝收藏夹、交易数据、聊天记录、物联网数据等。这里使用比较直接,就直接存放HBase,再读取。 
3、报表类:比如报表、数据大屏等

随着互联网的发展,我们遇到很多中小公司,都有数T、数P的HBase集群,且这些集群没有改动过一行HBase源代码,出现问题后无从下手,导致服务长时间不可用甚至面临数据丢失的风险,更加不会去改造HBase以满足日益增长业务需求。 

云HBase团队,源于对内核的深度改造,满足日益复杂化、多样化的大数据存储需求。阿里从2011年初开始步入HBase的发展、建设之路,是国内最早应用、研究、发展、回馈的团队,也诞生了HBase社区在国内的第一位Committer,成为HBase在中国发展的积极布道者 过去的几年时间,阿里累积向社区回馈了上百个Patch, 在诸多核心模块的功能、稳定性、性能作出积极重大的贡献,拥有多位Committer,成为推动HBase的长远发展的重要力量之一。

云HBase建设

主要是两个体系

管控体系:由于我们有数千个、甚至数万个HBase集群,所以,我们必须是自动化的。这个体系建设的是怎么去管控好上万级HBase集群,为数万家公司提供云HBase的服务。 
内核建设:目前云HBase主要围绕云上构建HBase,需要充分利用云的优势,比如:弹性、资源无限、随时随地、默认有多个可用区及多个地区。我们主要围绕:性能、运维、成本、安全、可用性、功能等方案建设内核。

以上内容是否对你有帮助, 查看云数据库HBase
关于更多的云HBase的讨论,可加入HBase钉钉群:

时间: 2024-09-14 23:22:17

客户之声为你探究PB级云数据库HBase的相关文章

云存储使存储容量前所未有,起点是达PB级

本文讲的是云存储使存储容量前所未有,起点是达PB级,[IT168 资讯]云计算的兴起会颠覆现有的网络存储架构吗?现在还没有人能说得清这种变化何时会发生.不过可以肯定的是,云计算对存储容量.存储访问性能和成本等提出了前所未有的挑战. 云计算的兴起对于信息存储会产生哪些重要影响呢?EMC公司中国研发中心首席架构师任宇翔表示,"云存储的起点就应该是PB级." 集群存储兴起 IDC研究表明,从2006年到2010年,全球信息总量将增长6倍以上,从161EB增加到988EB(1EB=1024PB

红象云腾发布新一代PB级高速大数据平台产品

ZD至顶网服务器频道 03月23日 新闻消息:在3月19日举办的China Hadoop Summit(中国Hadoop技术峰会)上,中国Hadoop大数据厂商红象云腾与OpenPOWER基金会共同发布红象云腾的新一代大数据产品,帮助企业高速处理PB规模数据.  此次发布的两款新产品中,"红象数据高铁-CRH4"的RedHadoop Enterprise CRH4 For POWER版软件,是全球第一个支持OpenPOWER服务器的Hadoop商业版本.同时发布的RedHadoop E

Formation:你有PB级的限制存储?

Formation是一家初创公司,创建于2013年,在两轮融资中累积获得2740万美元. Formation Data Systems公司董事长和首席执行官是Mark Lewis,32年前他从DEC存储工程开始做起,曾经在Compaq.EMC.EMC Ventures.Riverbed董事会任职,在2013年创建Formation并担任董事长和首席执行官之前,他在Silver Lake担任高级顾问.他的共同创始人是Andy Jenks,曾经在Khosla Ventures以及EMC Ventur

Facebook如何实现PB级数据库自动化备份

文章讲的是Facebook如何实现PB级数据库自动化备份,Facebook的MySQL数据库,是世界上最庞大的MySQL数据库之一,在不同地区有数千个数据库服务器.因此,备份对他们来说是个巨大的挑战.为了解决这个问题,他们构建了一个高度自动化.非常有效的备份系统,每周移动多个PB的数据.Facebook数据团队的Eric Barrett通过一篇文章分享了他们的做法. 他们没有采用大量前载(front-loaded)测试,而是强调快速检测失败,并且进行快速.自动化纠正.部署几百个数据库服务器,只需

阿里云发布ODPS 可分析PB级海量数据

本文讲的是阿里云发布ODPS 可分析PB级海量数据8日,阿里云计算发布核武级大数据产品--ODPS.通过ODPS在线服务,小型公司花几百元即可分析海量数据.ODPS可在6小时内处理100PB数据,相当于1亿部高清电影.此前,全球掌握这种能力的公司屈指可数,如Google.亚马逊等. 五年间,阿里云的工程师们写下250万行代码,不断打磨ODPS.该团队在一封公开信中描述:"把数据海洋里的水灌进ODPS,设定好一套参数,拧开水龙头,出来的就是鲜榨果汁!"对比工业时代,ODPS相当于大数据时

PB级分布式大数据的处理和分析应用

文章讲的是PB级分布式大数据的处理和分析应用,对于大数据,串行的处理方式难以满足人们的要求,现在主要采用并行计算方式.现有的并行计算可以分为两种: ·细粒度的并行计算.这里细粒度主要是指指令或进程级别,由于GPU比CPU拥有更强的并行处理能力,人们将一些任务交给GPU并行处理,一些GPU制造商也推出了方便程序员使用的编程模型,如NVIDIA推出的CUDA等. ·粗粒度的并行计算.这里粗粒度指的是任务级别,人们将工作分布到不同机器中执行,最近流行的网格计算.分布式计算都属于粗粒度级别. 由于现有G

曙光建立EB级云存储实验室引领中国式存储

 6月13日,曙光信息产业股份有限公司(以下简称曙光公司)在北京中关村软件园曙光大厦召开主题为"中国式存储-颠覆与突破--开启国产存储EB级殿堂之门发布会",高调向外界宣布建立曙光EB级云存储实验室.以及曙光存储腾云行动.曙光公司首席运营官王正福,曙光公司总裁助理兼存储产品事业部总经理惠润海,知名分析机构分析师以及数十家家主流媒体.行业专家.合作伙伴近百名嘉宾共同见证了此次发布会. 今天大数据存储应用与产业已成为中国主要经济增长引领点,同时也是曙光存储在中国市场的重要战略布局.从过去两

曙光王正福:EB级云存储事关中国云安全

曙光信息产业股份有限公司日前宣布,将建立曙光EB级云存储实验室.以及曙光存储腾云行动.曙光公司首席运营官王正福指出,研发自主知识产权的EB级云存储系统,对保障中国云安全,全面提升中国云的性能有着重要意义. 据悉,大数据存储应用与产业已成为中国主要经济增长引领点,同时也是曙光存储在中国市场的重要战略布局.众所周知互联网.云计算.移动终端和物联网的迅猛发展,客户的信息数据爆炸性增长,传统的存储架构已经无法解决如此大数据量的存储落地需求. 然而目前市场上的云存储系统一般可以扩展到PB级,应用于如超大规

浪潮积极推动行业级云服务在中国落地

7月15-16日,在京举行的2014可信云服务大会上,正式发布第一批通过可信云认证的云服务名单,浪潮云服务位列其中. 在会上,浪潮云服务副总经理李克非做了主题演讲,就浪潮行业级云服务实践跟与会嘉宾进行了交流. 李克非表示,通过可信云服务认证,意味着浪潮作为云服务商资质合法.承诺完备且规范,必将进一步增长用户使用浪潮云服务的信心.浪潮将一如既往地为用户提供自主可控.安全可靠的行业级云服务,持续推动云服务在中国的落地,最终打造一个可信的.健康的.可持续发展的云计算生态系统. 从行业云到行业级云服务,