是骡子是马,拉出来溜溜 ——阿里云HBase在大搜车的试用

        大搜车,中国领先的车商服务平台。凭借多年对汽车行业的深刻洞察与理解,推出了适合汽车经销商集团及大型二手车商的业务经营管理系统“大风车”,适合中小二手车商的经营管理系统“车牛”,汽车消费延保产品“大搜车质保”以及基于蚂蚁金服开放平台赋能的[信用购车 先用后买]金融服务方案—“弹个车”,为车商提供软件服务、金融服务、交易服务及营销服务等,助力经销商提高管理及盈利能力。现已成功为全国超过70%的二手车经销商提供了全方位的业务支持。

        大搜车的业务线众多,对数据的需求也多种多样。其中一条数据流为离线数据, 数据从业务数据库中经过 ETL 工具 将数据导入 Hive 中,生成数仓所需的各层数据,最终将统计数据导入 Mysql 中,另一条数据线将日志,埋点等实时数据导入阿里云HBase,同时在OpenSearch 中产生必要的索引, 最后通过数据网关对外提供实时的服务.

 

 实时业务线中,要处理 TB 级的的数据量,同时又要保证读写的效率,在数据库的选择上。经过多重考虑,最终决定采用阿里云HBase 来处理这些数据。

选择阿里云HBase主要基于以下考虑:

1 大搜车的数据整体的技术栈都是基于 Hadoop, HBase是Apache的Hadoop项目的子项目,阿里云HBase 完全兼容 Apache HBase 的接口,选择阿里云HBase可以更好的同其他设施集成:

l Spark 可以方便得读写
HBase 中的数据

l 通过 Flume 可以将 Kafka 中的数据写入阿里云 HBase

2  阿里云HBase 相较于其他方案,可以提供更强大的查询功能:

阿里云 HBase 完全兼容了社区版本的接口, Hbase 中原有丰富的过滤器仍可以使用在阿里云 Hbase。同时社区中 Phoneix 等 SQL 方案也在逐渐成熟, 后期 SQL ON HBase 也有更多的选择。

3  由阿里云承担基础运维, 服务更有保障。

Hbase 要提供线上服务, 服务稳定性的要求更高。对于没有运维经验的团队来说, 阿里云 HBase 是更好的选择。这个也是吸引大搜车使用阿里云 Hbase 最主要的原因. 阿里云承诺9个9的稳定性,超过自己可以实现的运维能力。

 

于是在调研后, 首先被应用到阿里云HBase上的业务是一个新业务——基础服务中的 GIS 服务。存储了大量GPS上报的地理位置数据, 并提供风控后台的数据接口。

大致的业务模型为每分钟各个厂商将 GPS 数据上传到大搜车的服务器(ECS)上, 
数据经过 Flume 处理并做简单的完整性过滤后,
先进行基础的统计, 例如每个设备的里程汇总, 离线时间统计等, 用来提供实时的业务报警. 之后数据会被导入 Hbase 中, Rowkey 采用 散列后的设备 ID + 时间戳.用来提供单个设备的轨迹查询. 

随着业务的发展,后面产生了新的需求: 绘制 GPS 的行驶轨迹。这是需要再进行一层汇总, 将原始的 GPS 轨迹进行过滤, 去除重复的轨迹, 寻找轨迹中的拐点, 实现最少的轨迹点来描述车辆的行驶轨迹。技术上可以通过 Spark 定时从 Hbase 中获取数据, 进行汇总后再写入一张新的 Hbase 表, 作为过滤后的轨迹记录。

大致如下图所示:

 

现在真实业务上线只有两周, 日写入数据 GB 级别,总体感觉目前系统还没有出现运维问题,解决了后顾之忧,而且与社区版本完全兼容,避免了不必要的工作量,创业公司的时间就是金钱,这里点一个大大的赞。

经过这次尝试,阿里云的HBase的成绩有目共睹,后续大搜车内实时的业务也会陆续从自建的Hbase迁移到阿里云Hbase 中,减少运维的风险。

 

    最后, 使用中也感受到一些不足,但愿阿里云HBase在这些方向上可以走的更远一些, 让开发者更方便一些:

1.
SQL ON HBase:这个版本并没有提供 SQL 的接口,不过这个已经是大势所趋, 不知道后续阿里云会基于 Phoneix 来提供服务还是会自己实现一套。

2.
更灵活的 TTL: 当前 TTL 需要在建表时指定, 使用时不是很灵活, 如果可以想
MemCached 等 针对每条数据设置单独的 TTL 将会使使用场景灵活更多。

3.
更多的调试工具: 目前阿里云 HBase 并没有提供数据管理的工具, 还是基于 Hbase Client,  希望也能像 RDS 一样提供一套好用的管理工具。

4.
开发与测试环境: 阿里云 HBase 只能在阿里云内网环境访问, 开发环境无法访问. 
目前阿里云 Hbase 和社区版完全兼容, 这个问题还不明显, 总归可以自己搭一份相同的版本, 不过后面等阿里云版本有了更多的特性, 就需要提供工程师本地开发与测试的方案。

时间: 2024-11-01 11:21:51

是骡子是马,拉出来溜溜 ——阿里云HBase在大搜车的试用的相关文章

杨叙回应对手四核质疑:是骡子是马拉出来遛遛

9月17日凌晨消息,英特尔中国大区总经理杨叙日前回应了对手在四核处理器上的三大质疑,强调用事实说话,"是骡子是马拉出来遛遛". 据悉,这是AMD于9月10日发布首款四核CPU并炮轰对手后,英特尔高层的首次回应.尽管双方高层称都不愿意继续打"口水战",但核心产品的正面碰撞似乎让彼此的高层都"不得安生". 9月10日,AMD在北京全球首发巴塞罗那,AMD全球高级副总裁兼CTO菲尔·海斯特(Phil Hester)出席发布会,批评对手CPU优良率太低,

阿里云增速连超亚马逊 云计算三巨头格局将成

近日阿里发布去年Q4财报,其中阿里云营收增速达126%,连续三季度实现三位数增长,从数字上看已经成为中国云计算市场的领导者.而同类云计算平台去年也都实现了快速增长,如亚马逊的AWS增速达68%,从增速和营收来看,云计算整个行业已经步入了巨头垄断阶段. 阿里云增速连超亚马逊 云计算三巨头格局定 2015年全年阿里云增速全线超过亚马逊的AWS,其收入也由第一季度的3.88亿增长为8.19亿.从数据以及增速来看整个云计算市场基本实现了"3A鼎立"的局面,即AWS.AliCloud.Azure

溜溜小妞是孤独的,寂寞的

1 QQ:这水好清凉好舒服啊! 2 溜溜:天呐,你咋下去了! 3 QQ:水里还有鱼哎,你也下来啊! 4 溜溜:嘻嘻,原来水里很好玩嘞! 平素里,溜溜小妞是孤独的,寂寞的. 家里没人时不用说,都不知道它这一天是如何在这偌大的空屋子里对镜空叹,即使晚上一家人都齐整整聚在一起,也只是在开门那一刹间看到它摇尾乞怜扭捏着软身子向你扑上来时才和它欢愉一会儿,而后便是忙着各就各位烧饭的烧饭做作业的做作业,根本没时间理会它.有时见它对着你一副哀哀的眼神屁颠颠跟你后面,也会心生无限怜惜:"溜啊,妈真是没工夫陪你呀

当年被马化腾和李彦宏看不起,阿里云如今营收超谷歌云计算

欧界报道: 如今,IT时代正在转向DT时代,云计算已经成为全球公认的趋势.一些巨头公司如亚马逊.微软.阿里巴巴.谷歌,甚至是百度.腾讯,都开始将云计算视为公司未来发展的目标.而国内起步最早的阿里巴巴旗下的阿里云已经开始尝到了云计算的甜头.   今年4月份, 德意志银行发布研究报告指出,阿里云年度净收入预估高于谷歌云计算,成为全球仅次于微软Azure和亚马逊的AWS的第三大云计算.其中仅去年第四季度的营收就达到1.28亿美元.    今天,我们都看到了阿里云的成功,但它并不是偶然的,也不是靠运气捡

面对层出不穷的网络安全威胁 阿里云表示:放马过来!

曾几何时,我们在电脑上会安装一个杀毒软件,因为会有各种各样的病毒来侵袭我们的电脑,那个时候,黑客也对此乐此不疲,这是大家对网络安全的认识和理解. 随着互联网的普及和信息化工作的快速建设,越来越多的人参与到使用互联网当中.特别是近两年的时间,网上冲浪.电子商务.网上聊天.电子政务.网络银行.网购.网络游戏等,社会各方面对网络和信息技术依赖性的不断加强,网络对大部分人来说已经成为工作和生活中必不可少的一部分. 但是,互联网本身有复杂性.开放性等等特点,且当前我们使用的软件规模不断扩大.应用越来越复杂

除了刚加盟的亚马逊顶级科学家,阿里还挖来这些技术大牛

依靠"人才争夺战",阿里巴巴将更快速地推动自己的科技创新. 近日,任小枫正式确认加入阿里巴巴的消息近来引起不小轰动.这位原亚马逊资深主任科学家,将担任阿里巴巴人工智能核心团队iDST的副院长和首席科学家. 任小枫的加盟显示了阿里巴巴正在快速推动NASA计划.这项计划由马云提出,面向未来20年组建强大的独立研发部门,建立新的机制体制,为服务近20亿人的新经济体储备核心科技.为实现这一目标,阿里巴巴正在全球招募顶尖科研人才. 而iDST(数据科学与技术研究院 institute of Da

【阿里云资讯】高盛:亚马逊AWS和阿里云将成全球最大基础设施技术公司

[8月24日讯]高盛周二发布的研报指出,AWS真正的竞争对手并不在美国,而是来自中国的阿里巴巴.高盛指出,阿里巴巴的云计算服务,即阿里云,到2019年营收将达到50亿美元,届时估值将达到420亿美元,而AWS届时的估值将为1780亿美元.相比之下,阿里云的规模依然很小.不过,这已经足以让阿里云在云计算基础设施领域(IaaS市场)成为排名第二的公司.研报表示:"以这样的价值来看,AWS和阿里云将成为全球最大的两家基础设施技术公司." 高盛估算,过去12个月,阿里云的IaaS和PaaS收入

阿里云首进Gartner云计算魔力象限,却与亚马逊、微软和谷歌比肩

本文讲的是阿里云首进Gartner云计算魔力象限,却与亚马逊.微软和谷歌比肩[IT168 云计算]根据外媒财经媒体<巴伦周刊>消息,引述研究机构Gartner的年度云计算魔力象限表示,来自中国的阿里云成为全球云计算技术的领导者,与亚马逊.微软和谷歌并列全球四大云计算服务商. 事实上,这是阿里云首次进入Gartner的云计算魔力象限.众所周知,亚马逊AWS是全球云计算老大,在此次Gartner年度云计算魔力象限报告中,亚马逊AWS和微软也不负众望,遥遥领先其他云计算厂商.但这份被业界看做最权威行

阿里云谷歌亚马逊同步大降价上演三国杀

本文讲的是阿里云谷歌亚马逊同步大降价上演三国杀 3月28日,阿里云通过官方博客宣布,将云服务器,云储存和云数据库价格全面大幅下调,标志着来自中国的力量,加入了这场在美国正酣的云计算价格比拼.IT时代的摩尔定律仿佛又轮回到了云计算时代:"每隔18个月,性能翻一倍或者价格降一半". 3月的最后几天里,阿里云.谷歌和亚马逊三大云计算巨头,或主动或被迫,相继投入到战役之中,"再也不会有人告诉你,自己买服务器会更便宜",谷歌云计算管理总监格雷格·德米切尔发出了壮志豪言.阿里巴