ApsaraDB云数据库助力优驾产品升级和架构变革

2017云栖大会POLARDB专场,广州通易科技有限公司技术负责人刘锬带来ApsaraDB云数据库助力优驾产品升级和架构变革的演讲。本文主要先介绍了优驾产品,接着介绍了应用需求与技术架构,最后分享了上云之路和使用云数据库的体会。

以下是精彩内容分享:

 

优驾产品

我们做的产品是车联网的产品,最右边是连接汽车API的盒子,我们做APP连接盒子。我们出了一个旗舰产品,4G后视镜和车的连接大屏,产品本质上来讲就是AI助理,帮助大家解决一些用车的小问题,怎么开车出行,怎么精明养车等。

我们的产品深度支持100多个车品牌,我们能读出来的数据能力和专业4S店诊断仪诊断出来的数据一样。

 

应用需求与技术架构

这是数据的架构,车里传感器非常多,很多数据流都在汽车总线上跑。而车对外暴露一个API 16桢接口,把车和网络连接起来。盒子不管是和手机、平板、后视镜、车机,都是通过蓝牙连接,数据上传到云分析数据。

汽车里的数据流比我们想象当中要多,仪表上可见的都是数据流,仪表上不可见的也有各种各样数据流,还包括在车上能看到各种各样故障灯。假设有100个数据流,每个数据流都是在50毫秒产生一个数字的变化,这个时候数据量是很大的,比如在国庆期间,有一位用户大概15天的时间从广西南宁出发,然后把青藏线和川藏线全部走了一遍,跑了8千多公里,他把8千多公里数据在一个时间点提交传上来,他的数据一天行车1200公里,1200公里数据大概有50万条原始数据,还不是我们处理后的数据,这意味着8千公里大概就是350万条左右,一次性一个峰值一个用户就把数据提交上来,我们就很痛苦自己多出一个BUG,导致不正常。

现在数据库存储成本高,我们并没有把所有数据都存到数据库。大家知道一个应用只有10万个用户,其实是非常小的应用,但它的数据量很高。我们想要做的事情是在车出现异常之前发现它,发现它之后找到解决方案,我作为一个车主能不能去之前就知道车可能会怎么修,哪一个部件坏了,甚至于部件在网上哪个卖家卖得最便宜,这是我们想要解决的问题。

我们通过大数据预测车况异常,数据接进来之后用一些机器学习算法,包括专家的知识库做一个问题预测。然后能够把维修方案给出来,跟哪个部件有关,然后再去做维修配件电商全网比价,把所有电商上汽车配件全部抓下来,看它的价格比较,告诉你去哪一家买是最便宜的。这个应用的范围很广。

 

与云共舞

最开始产品上线的时候,我们自己弄了一个服务器,用户量很少。大家也知道应用的特性,数据快速增长,我们天天还想着开发一些业务的功能,数据库性能也很差,用户工作量也很大。后来阿里云技术专家提了很多意见,和我们探讨怎么把自建服务器上环境迁移到云上面来。

上云之路

最开始我们用云的时候,买InnoDB的实例,性能很高,运维起来很简单。我们没有DBA,只有开发人员客串DBA。这时候还是有两个问题:第一,数据还是快速增长,数据存储成本肯定还会很高;第二,当时数据库实例是2TB,通过2TB的上线,这时候要做分库分表,再买个实例很麻烦。

MySQL的RDS是2个TB,hadoop是PB级别的。大家有没有想过一个问题,10个TB的数据和100个TB的数据也要用hadoop吗?有没有一类产品,它能够突破这个上线,因为MySQL我们用起来很熟悉,MySQL能不能支持大数据产品的应用。阿里云出来一个产品支持TokuDB存储引擎,5倍的压缩比。当时我们把一些事物处理放在InnoDB,OLAP放在TokuDB上。

但问题又来了,TokuDB还是有上限的,后来出现了Hybrid,我的体会有几点:

第一,它依然是支持MySQL的,所以用起来不需要再去学习什么,很方便;

第二,它存储成本会相对低一些,因为它是SSD和SATA混合,也支持高压缩,TokuDB引擎在里面依然可以用;

第三,一份存储数据既可以做TP业务,也可以用AP业务。大家也知道要把这些数据拿出来做分析,要把数据拖到另外一个地方去,用之前准备工作太长,这个数据库好的地方在于我写一次,APP业务也可以在上面跑,有分布式数据库;

第四,直接可用,最后数据突破上限PB级。

其实产品出来之后,一样还存在问题,只读实例,成本线性增加、创建速度慢;数据备份,2TB、50小时。POLARDB一次性满足了我全部的幻想,我们作为一个不知名的厂商在做很小的产品,在解决一些很小的问题,使用POLARDB,我可以用很少的成本。   

 

使用云数据库的体会

云数据库用了这么久,在这几年用阿里云的数据库产品给我印象最深刻的是阿里云的价值观,他们能把客户放在第一位。

首先,它不怠慢客户。我们的产品在刚刚出来时也没有什么用处,只是自己有问题而已。在这个时候他们不会因为你是一个很小的客户,提出问题就不重视。我们从当时提出问题到现在阿里云推出的各个产品线,解决了当时提的问题,MySQL能不能支持大数据场景下的应用。

其次,积极互动。他们的产品有什么意见,他们会经常主动问意见。

第三点,阿里云的数据库有一个特点,你有什么新的需求我们就开发新的产品对应你。

第四点也是最重要的一点,坚持性价比。性价比很重要,我之所以用你,你的东西固然好,但必须得便宜,中小企业关注的是成本。

 

时间: 2024-09-11 05:31:08

ApsaraDB云数据库助力优驾产品升级和架构变革的相关文章

IoT时代 云知声助力家电企业智能化升级

9月27日,由云知声和中国家电网联合举办的智能家电高端峰会在深圳召开.中国家电协会副理事长徐东生.云知声IoT事业部总裁谢冠超出席了本次峰会,美的.海尔.长虹.TCL.博西家电.格力等中国众多知名家电企业代表也来到了活动现场. (云知声IoT事业部总裁谢冠超) 云知声IoT事业部总裁谢冠超称,在IoT时代,人工智能将成为家电智能化升级的助推器,加速家电企业实现转型和升级. 家居智能化是未来发展的趋势 在未来生活中,智能家居将成为物联网重要的一部分.根据第三方分析机构<中国报告大厅>预测,中国智

优驾与阿里云的万万没想到

优驾是一项创新的车联网服务,由优驾车载智能感知器.优驾App和优驾云组成,通过读取分析行车数据,为车主提供创新的用车及驾驶服务.自发布后,优驾获得了众多车主的认可,每天都有大量的车主在使用优驾. 优驾产品上市之后,陆续碰到了以下几个问题 1.数据量太大,优驾云服务平台响应越来越慢,无法进行弹性扩展 用户在使用优驾过程中,采集了大量的汽车行车电脑数据,随着用户量的逐步增长,优驾云平台存储和计算的压力越来越大.我们的客服同事陆续收到很多用户的反馈,说优驾上传和分析数据越来越慢.与此同时,在优驾云平台

“宝拉”快跑!阿里云发布超高性能云数据库POLARDB

老孙看过一部很有意思的德国电影,叫做<罗拉快跑>,故事讲得是为了筹集男票遗失的走私赃款,拯救他随时会被黑帮大哥杀死的性命,罗拉必须在20分钟内得到10万马克,于是她狂奔在求助的路上,完成了几乎不可能完成的任务.而这部制作成本只有两百万美金的电影,其在全球票房收入已经突破一亿美金,被电影界视为新时期德国电影的复兴之作. 而就在昨天,阿里云正式推出了名为"宝拉"(POLARDB)的云数据库产品,也狂奔在性能的大路上.在实测跑分上,POLARDB读写性能均超越同级产品,读性能实现

性能最高提升300%!阿里云数据库HBase版上线

阿里云正式推出云数据库HBase版(ApsaraDB forHBase),100%兼容HBase协议的分布式数据库,基于HDFS分布式文件系统,支持高达10PB的存储空间,满足最高5000W QPS的随机读写场景.能支撑海量结构化数据存储.高并发访问等需求,适用于物联网.车联网.监控.安全风控.即时通讯.消息存储等行业场景用户. 产品内核架构深度优化,运维效率大幅提升 阿里云数据库专家对原生HBase内核源码进行深度优化,让云数据库HBase版(ApsaraDB for HBase)的读写性能相

阿里云双11访谈之云数据库

以下内容根据访谈视频整理而成. 阿里云数据库产品特性介绍 云数据库产品在阿里云集团里做了很多额外的工作和专研.在安全线上云数据库达到了很高的安全要求,引入了更多的硬件,在架构上.在代码层都做了很多的优化.相对于传统数据出来说,云数据库在稳定性和高可用上面达到了较高的技术上的提升.阿里云产品都有一个通用特性就是应用可以快速实现自动化,实现对实例级别的管理.监控,对程序的迁移.阿里云云数据库团队不仅在业界上是顶级的专家团队,在专业上也是属于国内顶级的水平,阿里云数据库为用户在云上的业务做保驾护航的工

云数据库·ApsaraDB 产品9月刊

[重点关注]Redis备份恢复方案上线,全面提升数据可靠性                                      云数据库Redis版采用双机热备的架构保证服务高可用,并且提供了持久化机制来保证数据可靠性.但是随着越来越多的业务开始使用Redis作为最终的持久化存储引擎,用户对于数据可靠性就提出了更高的需求.经过一段时间的打磨,我们正式推出了Redis备份恢复解决方案,全面的升级云数据库Redis的数据可靠性: 1. 支持数据备份一键式操作 阿里云采用在备节点上执行RDB快照

云数据库·ApsaraDB 产品7月刊

[重点关注]RDS for SQL Server2012 开启公测                                     1.第一款单机版产品 :价格比2008 R2降低近一半,这对于看重RDS产品功能,而对高可用要求稍低的用户来说是一个性价比很高的选择 2.权限系统更为开放 :用户可以通过一个初始数据库账号来方便的管理RDS 3.支持经典网络和VPC.账号管理.备份与恢复.监控报警以及安全白名单等功能 4.性能优秀,媲美当前的SQL Server 2008 R2, 性能白皮书

云数据库·ApsaraDB 产品6月刊

[重点关注]RDS发布新规格                                                      RDS于5月下旬发布新产品规格,新规格对齐ECS配置: 1.连接数大幅提升 互联网型的应用特点是发展快速,在云上应用层会基于VM进行横向扩展,对数据库的要求除了资源本身就是连接数上进行扩大.RDS新规格全面放大连接数上限,以满足不同应用对大连接数的需求. 2.RDS新规格和ECS规格对齐,全面开放内存+CPU搭配 无论用户的业务在云上ECS自建数据库还是云下物理

云数据库·ApsaraDB产品月刊 11月刊

[重点关注]云数据库Redis版推出小内存大QPS集群版配置                                      一般企业上线初期由于业务迭代速度较快,往往业务拆分不会过多考虑.开发者会将所有模块的缓存数据都存储到一个Redis里面. 由于Redis内核单线程的特性,单个实例的QPS往往很难突破10万.而在业务发展期,随着客户数的激增及业务热度的提升,Redis的性能就会出现瓶颈,性能需求往往会要求至几十万乃至上百万的QPS. 云数据库Redis提供集群版实例,轻松突破Re