淘宝海量数据库之一:来自业务的挑战

作为一个电子商务企业,从一开始,数据库及其事务能力在淘宝就扮演着十分关键的角色,淘宝也积累了丰富的数据库的架构和规划等方面的经验,产生了众多优秀的DBA。

 

淘宝是一家迅速发展的公司。全球网站排名公司Alexa提供的数据显示,2010年4月27日,Amazon、Ebay的用户占全球互联网用户的百分比分别为3.47%和2.68%,而淘宝的用户占全球互联网用户的百分比则达到了4.1%,淘宝网日独立访问量从此超过了Amazon和Ebay。

 

淘宝的数据规模及其访问量对关系数据库提出了很大挑战:数十亿条的记录、数TB的数据、数千TPS、数万QPS让传统的关系数据库不堪重负,单纯的硬件升级已经无法使得问题得到解决,分库分表也并不总是凑效。下面来看一个实际的例子。

 

淘宝收藏夹是淘宝线上应用之一,淘宝用户在其中保存自己感兴趣的宝贝(即商品,此外用户也可以收藏感兴趣的店铺)以便下次快速访问、对比和购买等,用户可以展示和编辑(添加/删除等)自己的收藏。

 

淘宝收藏夹数据库包含了收藏info表(一条一条的收藏信息)和收藏item表(被收藏的宝贝和店铺)等:

  • 收藏info表保存收藏信息条目,数十亿条
  • 收藏item表保存收藏的宝贝和店铺的详细信息,数亿条
  • 热门宝贝可能被多达数十万买家收藏
  • 每个用户可以收藏千个宝贝
  • 宝贝的价格、收藏人气等信息随时变化

 

如果用户选择按宝贝价格排序后展示,那么数据库需要从收藏item表中读取收藏的宝贝的价格等最新信息,然后进行排序处理。如果用户的收藏条目比较多(例如1000条),那么查询对应的item的时间会较长:假设如果平均每条item查询时间是5ms,则1000条的查询时间可能达到5s,若果真如此,则用户体验会很差。

 

如果把收藏的宝贝的详细信息实时冗余到收藏info表,则上述查询收藏item表的操作就不再需要了。但是,由于许多热门商品可能有几千到几十万人收藏,这些热门商品的价格等信息的变动可能导致收藏info表的大量修改,并压垮数据库。

 

OceanBase是淘宝自主研发的海量数据库,并且已经开源( http://oceanbase.taobao.org/ )。在应用团队和OceanBase团队的共同努力下,上述问题得到了很好地解决:平均响应时间几十毫秒,最长响应时间一百多毫秒。与先前使用的关系数据库相比,系统QPS和TPS提升了几倍,服务器数量反而减少了。

Author:正祥

时间: 2024-10-28 11:16:04

淘宝海量数据库之一:来自业务的挑战的相关文章

淘宝海量数据库之二:一致性选择

众所周知,一致性是数据最关键的属性之一.2000年,Eric Brewer教授在ACM分布式计算年会上指出了著名的CAP理论: Brewer, E. A. 2000. Towards robust distributed systems. In Proceedings of the 19th Annual ACM Symposium on Principles of Distributed Computing (July 16-19, Portland, Oregon) 即分布式系统不可能满足一

50%-60%的订单来自淘宝市场,40%来自线下档口批发

阿里巴巴一份数据显示,自从阿里和淘宝系统打通之后,目前,50%-60%的订单来自淘宝市场,40%来自线下档口批发.按照阿里巴巴今年全年1000亿在线交易额估算,淘宝市场占据500-600亿的批发规模. 虽然没有确切的来自天猫市场的批发数据,但是有不少商户几乎也是采取从阿里巴巴批发进货的方式.可以看到下游b端和c端对上游源头B端依赖程度之高.同时,因为,线上批发市场比之线下批发市场更具价格优势线和产品多样性.因此,线下批发市场直接从线上得到受益. 说到批发卖货,他们是非常活跃的一个群体.或者或者两

淘宝网涉足小额批发业务

本报讯 (记者李斌)昨天,淘宝网宣布旗下从事小额批发业务的淘批发平台正式上线,通过与阿里巴巴中文站的对接,将阿里巴巴上的货品信息直接引流至淘批发平台,淘宝 卖家无需再注册阿里巴巴账号,使用自身的淘宝账号就可以直接采购阿里巴巴供应商发布的小额批发货品,并能在淘宝后台直接进行批发管理. 淘宝网商户平台事业部总经理喻策透露,目前淘批发的产品主要来自1688网站上经过筛选的优质货源,可供批发的类目包括服装和小商品.同时,这些产品的最小起批量都在10件以下,有些甚至1件起批,有效降低了淘宝商家的进货门槛.

农村淘宝上线:商品来自天猫及淘宝 包含农资农具

日前,淘宝网针对农村市场推出了二级页面 农村淘宝(cun.taobao.com).而进入农村淘宝后发现,页面首屏首焦图片左侧展示了经营类目的入口,而且还设置了相应的二级类目:首焦图片下有热门推荐和单品热销榜两个栏目.页面中这两个栏目下面的商品则通过楼层的方式进行展现,一共按照了类目划分了10个楼层.为了满足农村用户的需求,农村淘宝将农资农具设置为第一层,该类目包含 肥料.农药.塑料薄膜.遮阳网.种子.耕地机.播种机.打药机等多种工具.该类目以下的楼层设置和大多数电商网站基本一致,依次为女装/男装

淘宝三成货物来自东莞

南方日报讯 (记者/彭子英 通讯员/松湖宣)明后两天,2012年中国外贸电子商务大会暨第二届海贸会年会将在东莞市松山湖凯悦酒店正式召开,强势启动外贸电商交流季.年会将吸引来自全球各地近400家外贸电子商务公司的高管和行业协会代表约800人齐聚一堂,会议参与者面广.影响力大.覆盖率高. 据松山湖有关部门介绍,2011年东莞市的网上交易额达到1500亿元,淘宝上卖的货物有三成是来自东莞.松山湖高新区管委会则透露,拟设立电子商务发展引导资金来支持电商发展,争取到2016年,松山湖电子商务营业收入超过5

新浪微博淘宝版将上线 面临用户体验挑战

中介交易 SEO诊断 淘宝客 云主机 技术大厅 [导读]在6月19日,新浪微博已经邀请了一部分淘宝店主进行内测. 腾讯科技 刘少东 7月13日报道 最近,有消息表示新浪微博的淘宝版正在内测当中,将于7月底推出. 虽然目前淘宝版并没有最终上线,但是其已经引起了网上的广泛讨论.而讨论的第一个核心就在于此举会不会让新浪微博继续滑向深度骚扰用户的深渊. 在6月19日,新浪微博已经邀请了一部分淘宝店主进行内测.据相关人士预测,此次微博淘宝版可能会参考媒体版,针对的人群是淘宝店主卖家,为其提供独有的页面展示

淘宝用信誉向腾讯发起挑战

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   腾讯的核心资源是什么?"用户"与"沟通",超庞大的用户群体,以媲美移动通信的沟通方式,构成的腾讯的基础,而将内容与应用加载在庞大的基础之上,优化用户体验,不断用新内容满足用户增长的需求,调动用户自发创造内容.    腾讯的缺失与弱点在哪里?"信任"与"安全",腾讯的QQ产生信任是在时

淘宝开源数据库OceanBase编译、安装和配置手册

概述     OceanBase是 一个高性能的分布式表格系统,提供类似BigTable的性能和扩展性,但表格中保存的是强类型的数据,比如integer,string,datetime等. 它使用C++编写,运行于64位Linux环境下.生产环境下需要使用多台机器搭建OceanBase集群以提供高可用和高性能,但是你也完全可以使用一 台机器运行OceanBase.     本章节讲解如何迅速搭建一个可用的最小OceanBase环境,在这之前请确保你能提供以下的条件: 64位的Linux服务器一台

淘宝强化旅游线上业务 横向蚕食网上消费版图

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 淘宝高调强化旅游线上业务,可以被视为其综合消费平台横向复制的自然冲动流露. 此前也有互联网巨头尝试过机票业务.如去年底,网易的电商业务试水中,机票曾被推过一阵,但今年初又悄然下线. 网易的机票业务选择的是B2C模式,从有限的供应商处获得机票资源,再以自己的名义卖给消费者. 淘宝的做法跟网易不同.淘宝机票业务的一位负责人说,由于选择了综合性出游