【重磅】阿里:大数据搬家记

文章概述:作为中国最大的电商集团,阿里巴巴一直善于自省自查。大数据革命的旋风吹到中国,让阿里巴巴得以机会发现自己脚下土地的松动。按照“数据基础决定上层建筑”的逻辑,阿里巴巴祭出一系列数据迁移和优化项目——重塑阿里电商生态系统的生命之树正破土生发。然而,“釜底抽薪”般的大动作可是需要拿出十万分的谨慎和耐心……

高空任务

自曝其短、奋起补课的事儿还是静悄悄地进行。

当摄像师不断变换机位寻找最佳视角拍摄时,潘宝坤有点愤怒了。“你们出去!别拍了!等我们做好再回来!”他吼道。

这一幕发生在1月13日晚,在阿里巴巴杭州西溪园区,一个被称为“DNA项目”的秘密计划正进入最关键的时刻。为了记录关键的场景,阿里专门安排了摄像师跟拍了整个项目的关键环节。偏偏在这个时候,技术后台的代码出了点状况,人人都急出一身冷汗。潘宝坤是当晚技术团队的一员。

DNA项目的核心是阿里C2C和B2C两大电商交易平台淘宝、天猫对商品SKU(商品统一编号)的底层技术架构更新。它在天猫对商品类目信息重新梳理的“达尔文计划”的基础上延展而来。如果说达尔文计划是一颗苹果,DNA项目则是一棵苹果树,是阿里电商生态系统的生命之树。阿里集团IPO代号不是叫“阿凡达”(Avatar)吗?如果不做达尔文计划和DNA项目,它是不可能成为智慧星球的,马云的外号“外星人”也将名不符实。

大数据(Big Data)革命在美国有几种典型表现:亚马逊有个性化搜索A9,A即算法(Algorithms)的缩写。Netflix有76897种电影分类,内部叫“量子论”、“微标签”。Facebook有新闻收集系统。潘多拉电台有音乐基因工程。算法是一种神奇的掌握人类消费行为和内心活动的系统,如何将人工分类与机器智能推荐相结合,一直是互联网顶级之战。

简单理解,每个超市都有很多货架,商品分门别类摆放,如果标签混乱、指向不清,会影响销售效率和购物体验。而作为中国最大的网上商店,淘宝从2004年5月诞生起,平台上的每一款商品都有一个特定数字代码,2008年在淘宝内部培育的天猫延续了这种技术架构,十年积累,阿里电商体系里的商品已经超过了20亿。与此同时,商品信息的混乱、冗余、不规范越来越明显。

一个典型的例子:在苹果公司尚未推出iPhone 5c之前,淘宝上居然有人卖绿色版iPhone,“这让人哭笑不得,伤害了淘宝系多年建立起来的信任度。”阿里巴巴共享事业群副总裁王曦若对《商业周刊/中文版》说。

与美国的eBay、亚马逊相比,淘宝的商品类目基础架构和分类管理不是一开始就标准化的,部分SKU的属性值(如规格、型号、颜色、尺码等)可以由卖家自定义编辑,难免会乱七八糟、混淆用户、甚至发生SKU作弊行为(比如将常规商品和配件辅料、瑕疵品等放在一个宝贝链接里出售)。

对于淘宝、天猫来说,商品信息数据系统就像基因之于细胞那么重要,它决定着所有线上交易的进化程度:如果类目规范整齐,交易就简单快捷高效,进而推动自我革新;如果系统杂乱无章,玩不了算法和个性化,影响用户体验,甚至给阿里自身拖后腿。今年3月,马云内部邮件称:云和端(Cloud +App)将是未来移动互联网的关键,阿里十年的目标是建立DT(Data Technology),数据时代中国商业发展的基础设施。

王曦若将阿里从达尔文计划到DNA项目的最后一步操作称为“在飞行着的飞机上换引擎”,来形容重整商品类目的风险之高和压力之大。她是DNA项目的总负责人,带领一个近百人的团队。

整个项目的关键是底层后台的数据迁移,他们需要将阿里商品信息开发团队做好的全新模型,链接到无时无刻不在使用的淘宝、天猫平台上。而所有这一切,得稳定平滑过渡,不能惊扰卖家和用户。

商品信息“进化”

瘦死的骆驼比马大。阿里后台“病了”,商品类目信息出现了“病菌”,但它仍然是中国最大的电商平台,以沃尔玛+亚马逊的模式,以电商、金融和数据平台在中国经济扮演着重要的角色。

阿里用来整理和存储商品信息的系统是一个树状结构,在内部叫“类目”。作为第三方交易平台,阿里把商品分成70多个大类,在每一个大类下分出很多子类目,子类目下又有一层层的分类。就像一颗枝繁叶茂的大树,在树干分出很多枝桠后,叶子已经难以计数。

没人否认这套系统的重要性,但即便在阿里内部,对它有了解的人也不多,因为它在技术底层,不直接影响前端交易,不像阿里每年双11的创纪录销售额那样吸引普通人的目光。

每年双11交易额都刷新纪录的天猫,是阿里集团最先推行“达尔文进化论”的部门。2012年5月,天猫更名刚刚4个多月,就被发现有了“病症”。技术人员通过后台看到,越来越多的买家留言说很难在天猫上找到自己最初想要的商品,无论通过类目(比如服饰、电器、化妆品)还是搜索——这是天猫商品的两大流量入口。要么指向不精准,要么信息过于庞杂,你需要手动翻阅好几页信息页面。

对于刚刚打响名号的天猫来说,这并不是件可以忽略不计的小事。马云对天猫的期许是,专注做B2C业务的天猫就像挺进大别山的刘邓大军,是整个阿里集团在B2C领域的正面作战部队。“B2C是比C2C更高级的一种零售业态。”原淘宝商城总经理、独立电商分析师黄若告诉《商业周刊/中文版》,B2C平台应该是一个Shopping Mall,商品丰富而正规,信息透明而规范。

电商发展早期,商品与信息组合的重要性被忽视。亿欧网联合创始人、电商分析师黄渊普对《商业周刊/中文版》说,随着商品数量增加,其组合方式是电商精细化运营最重要的体现之一。同样的商品有多种信息描述,既浪费各方资源,很多时候也助长了商品的不实宣传。电商平台方有必要把类目规范化,这是电商购物回归产品本身,促进公平竞争的必然措施。

王曦若着手让团队一点点去核查,试图厘清到底是哪个环节出了问题,最终商品信息的不确定性被定性为核心问题。他们发现,即便是在天猫上,同一款商品的信息也未必相同,比如一款绿色的保温杯,有的卖家描述为“淡绿色塑料保温杯”,有的则是“浅绿色塑胶保温杯”。

“某种程度上,天猫已经不像个Shopping Mall了。”王曦若说。天猫的商品信息延续了淘宝的风格,由卖家填写,天猫只负责简单审核(商品基本属性准确以及符合法律法规),这就造成了商品描述五花八门,在后台的“仓库”不便管理,前端“柜台”信息混乱,买家找不到想要的商品,卖家销售库存管理日益繁杂。

王曦若把问题报告给时任天猫总裁张勇。张勇在高层会上说,一定要把问题尽快解决掉。他们花了几个月调研讨论,张勇拍板决定启动信息重整项目,但当时还没起名字。“要不就叫达尔文计划,代表着我们商品信息的一种进化?”王曦若的提议得到赞同。

阿里共享事业部派出了两个团队负责达尔文计划的运作。天猫产品部的何家琼被抽离出来,组织了一个10人团队,叫“达尔文基础运营团队”。2012年8月,他们从手机和化妆品两种相对简单的商品开始,正式启动达尔文计划。

从天猫开始

习惯一旦养成很难改变,更何况你动的是利益。阿里先在天猫而不是在淘宝做商品类目重整,就考虑到它平台上大多是知名品牌入驻,调整和规范的成本相对低,不至于扰乱淘宝的卖家信息海洋。

2012年8月,在天猫的后台系统,手机和化妆品卖家都看到了一则关于达尔文计划的公告,详情及需要卖家怎样配合。如同总裁张勇谨慎的行事风格,天猫该项目运作也小心翼翼。运营团队先进行调研,一是对淘宝天猫卖家和买家数据收集,内部也与阿里负责类目的管理者(俗称“小二”)沟通,二是向国外同行亚马逊和eBay学习,三是对淘宝十年来经验总结。

闻思图书专营店店主温兴歌曾经为这样的问题纠结:某一本书的内容既涉及商业故事,也属于旅行见闻,到底放在商业子类目下好卖,还是放在旅游子类目下更好卖?达尔文团队围绕一个基础的问题开展:某个商品的类目理想中应该是什么样子的。他们讨论这些差别,一步步涉及到最基础最琐碎的问题:为什么商家会放错类目?商家什么情况下会设置错的关键字?每个商品的颜色、尺码、款式都用一串独立的数字来表示,为什么还信息混乱?……

天猫的运营团队给平台上手机和化妆品类目的前10名卖家打电话,介绍正在进行中的达尔文计划,征得对方同意后,抛出一系列问题:商品的材质是什么?一共有几个型号?多少种颜色?一般每个月生产多少销售多少?放在天猫仓库又有多少?……“这些看似不太相关的问题,命中的才是商品最核心的信息。”何家琼说,商品信息最终是为交易服务。

第一轮商家调研完成后,天猫团队坐在一起总结,得出一个令他们震撼的结论:天猫的类目结构已经远远不能满足行业的发展状况了,很多商品早就更新换代,或者丰富了款式型号,类目却还是2008年最初建成的样子。

他们一鼓作气开了卖家沟通会。2013年初,温兴歌从浙江金华赶到杭州,在位于西湖国际大厦的天猫办公室参加了图书类目的卖家沟通会。会场有20多个图书经销同行,一个天猫图书小二,一个达尔文基础运营团队成员,一个记录员。“讨论的话题是以后我们怎么填写图书信息。”温兴歌说。以前都是卖家自由填写,天猫简单审核即可。现在天猫提出他们会为每一类商品设置多种属性,让卖家进行选择而不是自由填写,比如给名人传记设置框架,中国的还是外国的,男人还是女人,政治的还是商业等,卖家在选项里勾一下就行。

因为这涉及到未来自家店铺的生意,卖家们都畅所欲言,提出种种可能的困难或建议方案。他们也反驳天猫的某些做法。“套装书”就曾陷入讨论僵局。天猫认为有统一条形码、版权页上印着丛书名的系列书才算套装书,卖家们则坚持可以自由搭配,把两三本好看的书组合在一起就行,无需考虑是否同一出版社、条形码或系列丛书。温兴歌把不同出版社出的《育儿圣经》和《睡前胎教故事》组成套装卖后,两本书销量都比以往增加近30%。

沟通会效果明显。天猫图书的子类目调整成既有天猫定义的套装书,也有卖家自由搭配的“自由组套”。毕竟天猫是个交易平台,达尔文计划在规范商品信息的同时是为了提升交易效率和品质。这种既要规范有序、又不影响交易销量的做法,在其他类目后来的操作中也不时出现。

王强在天猫经营一家海尔授权网络店,是最早参加达尔文计划试点的商家之一。比起以前上架新商品需要自己费尽心思去填写商品描述信息,现在从天猫的库中直接调用,“我只要填价格、库存数量等信息就可以了,对天猫店的维护更简易了。”

但由于品牌卖家的定位营销策略不同,他们对达尔文计划反应也不一致。何家琼就遇到一个问题,耐克和阿迪达斯对天猫商品描述的要求有不同意见:在耐克的商品描述中,一个商品下面既有尺码选项也有颜色选项,而阿迪达斯的只有尺码选项,如果要标识颜色,代表商品属性的是另外一串数字。

“这背后有销量的博弈。”何家琼说,在淘宝天猫的搜索因素中,销量占很大权重,核心表现就是按照商品的销量自动排序。以慢跑鞋为例,耐克慢跑鞋的销量是其各种颜色之和,阿迪达斯慢跑鞋则是按红色、蓝色、紫色等不同销量各自呈现。在阿里平台有个现象:用户搜索“慢跑鞋”时,耐克因其销量高出现在较为靠前的页面,阿迪达斯则会靠后。

两个品牌都是天猫的重要卖家,何家琼不敢掉以轻心,亲自给对方负责人及前5名的专营店卖家打电话沟通。耐克希望达尔文计划继续保持原来的商品描述方式,阿迪达斯则分成两派,官方旗舰店希望商品描述和阿迪达斯官网保持一致,不同颜色的商品有不同的属性值;专营店卖家考虑销量,希望取消颜色属性值,让买家在统一款号的商品下自行选择颜色。

目前,达尔文团队还没想到合适的方案来解决这个问题。何家琼的设想是,对于服装服饰等非标准化商品(非标品),也许可以放开一些弹性空间,天猫负责较大比例的类目管理,卖家根据自身情况进行个性化类目描述。耐克和阿迪达斯两家天猫旗舰店负责人拒绝就此发表意见。

改变搜索逻辑

2013年,天猫陆续完成了对数码、家电、手表等标品,服装、化妆品、农产品等非标品的类目重新调整。

普通用户感受到的是在天猫购物更快速准确了。王曦若说,“如果用户的搜索信息足够明确,我们甚至能提供唯一符合要求的商品。比如输入iPhone 5s,搜索页面中心只会出现一款手机,不再有手机壳、配件等无关信息,为用户们节省大量时间。”

如此精准的推送来自天猫搜索系统的一套数据算法。当用户输入iPhone 5s时,搜索后台会找到天猫卖家所有的iPhone 5s手机,根据销量、人气、价格、顾客评价等算出综合得分最好的一个,系统再次评估后推送给用户。这是一套相对公平的算法,面向所有卖家和用户。

在类目之外,搜索是天猫最大的流量入口。过去5年,天猫搜索依赖的是模糊词汇,“你输入一个关键词,后台系统会帮忙匹配很多商品,只要这些商品的标签中含有这个关键词。”天猫产品运营部产品总监胡秋根对《商业周刊/中文版》说。他是天猫搜索业务的负责人,在达尔文计划运作过程中,搜索也配合商品信息的改变有了突破。

模糊词汇匹配的好处不言而喻:尽可能“一网打尽”把相关的商品展示给用户。“余杭区的马小姐想找一件真丝无袖连衣裙,理论上她只要输入这7个字,不管翻多少页,她都能从中找到自己想找的那一件。”胡秋根说。

这其实是历史遗留问题,跟天猫前期商品信息的模糊混乱息息相关。达尔文计划使天猫补上了商品类目规范和升级的课,阿里愈加在大数据应用上领先京东、当当、苏宁等竞争对手(这三家拒绝接受采访)。如今在天猫,你搜索一件商品,其展示结果从原来的成百上千件,变为聚合成确定的一件或几件。

“搜索逻辑的变化对卖家影响很大,让很多卖家改变了运营逻辑。”以前很多卖家为了销量,会为商品添加很多标签,现在天猫更青睐推送信息精准的优质商品,卖家们尽力运营好某一款或几款主打商品。“爆款”在天猫将成为过去时。天猫搜索不再推送多种同款商品给用户,达不到卖家们跟风的效果。胡秋根说,“这也更加符合天猫的定位,这个平台的核心竞争力是品牌,而不是只以销量取胜。”

“釜底抽薪”

当达尔文计划逐渐开花结果时,一项更有价值、同时也更有难度的项目也同时交错在开展。它触及的是整个阿里电商平台的底层数据,是阿里发展大数据业务和未来DT目标的根基。

2013年2月,这个项目由阿里共享事业群的商品技术开发平台团队提出。该平台负责人赵营苗告诉《商业周刊/中文版》,从持续使用十年的经验来看,淘宝平台的“树形结构”对于卖家和买家都简单易用,但是随着环境变化,越来越多的新商品出现,有的难以归类,这棵“生命之树”不再强壮如初,“也就是说,现有的结构类目已经跟不上行业的发展了,跟时代比起来落伍啦。”

阿里运营部门的梳理结果更夸张。“除了国家法律政策规定不能交易的,枪支弹药毒品不能卖,在淘宝上,你注册个卖家账号,什么都可以卖。”DNA项目运营负责人朱春勇说。赵营苗承认,“这就是我们的商品数据库模型出了问题,改变迫在眉睫。”

在阿里大数据委员会会长车品觉看来,这不是阿里一家公司的问题,整个电商行业其实都存在商品信息管理的难题,在传统零售行业,这也是至关重要的一环。“大数据应用中最重要的三个因素是数据的可实时性、数据的可解释性和数据质量的准确稳定性。DNA项目涉及的是商品信息的准确稳定性,对于阿里大数据应用来说是基础而且重要的步骤。”

2003年5月,淘宝创立10周年,每个部门都对业务做了大梳理。历经两三个月,商品开发团队拿出了可行的整体项目方案。他们决定先从手机、3C产品、数码配件、酒类、保健品5个类目开始,“相对其他要迁移的69类商品来说,这些类目商品数据相对标准和规范。”

但意义如此重大,项目开展时间却迟迟未定。在阿里内部,价值观和企业文化影响每个员工,“让天下没有难做的生意”是统一口号,但是每个业务线都有自己的业绩任务,短期内并不一定合拍。从一开始,DNA项目被各个部门接受的程度也不一样。

时任天猫总裁的张勇看完方案提了两点意见:天猫将支持项目的进展,但此项目不能开展于2013年11月11日之前。后一条用意很明显,双11是天猫最重要的消费节点,这一天的交易额代表着阿里交易业务甚至中国电商市场的繁荣程度。万一DNA项目出现任何差错,都会让这一天的阿里颜面扫地。

时任淘宝负责人张宇也表态支持项目开展,她认为此事对于淘宝系的交易平台至关重要,但有冲突的是,她希望保持淘宝的强势,比如能够整理清晰的类目一定要做到规范标准,但对于暂时理不清的类目,她希望从淘宝剥离出去的天猫能够遵循淘宝的规则。

阿里的搜索、广告、聚划算等业务部门的意见也各自不同。特别是广告部门,年底要冲业绩,极力希望大搬家推迟。最终,王曦若和赵营苗的团队用了两三个月时间,说服集团高层拍板决定2014年初启动DNA项目。

朱春勇带领的运营团队是2013年5月加入DNA项目组的。彼时移动互联网船票战争夺已经火热,腾讯的微信如日中天。淘宝系的后台体系是以PC端为基础构建的,整体结构谨慎安全,但在以轻和快为标准节奏的移动互联时代,它显得繁琐和沉重。朱春勇说,“我们希望未来淘宝的商品信息架构是轻便和灵活的。现在人人都可以是电商卖家,比如我家院子有棵石榴树,可能就是一瞬间的想法,我用手机拍下来,发到淘宝上去卖。”

DNA项目团队有30多人,分为两批:一批是对商品或者卖家比较熟悉的人,及时和卖家沟通,把商品相关行业的现状和趋势摸透,为技术后台重构数据库做准备;另一批是对淘宝系产品比较熟悉的人,他们有良好的技术背景,做过产品经理,能从产品和用户体验方面对新的商品数据库提供意见。

淘宝的类目数据梳理也交给了朱春勇的团队。在看似完备的类目体系上,他们发现了诸多琐碎问题,比如材质为牛皮的商品,有女装,有男装,有包,有鞋等,这些类目之下的牛皮属性值都不一样,商品数据就因此多出几串不必要的数字,把整个商品数据库撑得庞大冗余。“把这些混乱的数据整理出来,在技术层面是很难实现的。我们都会人工去做,人肉输入和整理。仅仅这项工作,就花费了整个团队半年多的时间。”

接下来,他们跟行业专家交流,还跟商标网、国家物品编码中心等专业机构交流,要把淘宝系商品信息做得既有数据化属性,又符合国家和行业规范。卖家的意见也非常重要。每一类的商品信息数据化之前,运营团队都会联系这类商品卖家集中的区域,做一两次集中访谈。

2013年12月25日,圣诞节,阿里西溪园区布满圣诞树和彩灯,很多员工放假回家过节,但阿里DNA团队却没有这项“福利”,DNA项目最后也是最重要的环节——更换技术后台将于2014年1月13日晚正式启动,他们必须加班加点。

阿里的野心

孔柏汉的神经一直处于紧张状态。从2013年12月25日开始,他所在的小组开始负责淘宝商品数据订正,也就是把整个类目的商品属性值进行重新更改和修订。在操作期间,卖家不能在后台发布或更改商品信息,但买家可以正常交易。然而一旦订正失误,整个类目系统都会瘫痪。

整个淘宝系共有20亿商品,每个商品都有自己的独立代码,一旦出现两种商品代码一致,可能整个类目都会冻结瘫痪。赵营苗说,如果发生这种情况,就会影响到前端用户的交易,这会是很严重的事故,必须做好各种预案,没人敢掉以轻心。这不仅仅与阿里整个平台有关,更关系到数百万的淘宝系卖家、超过5亿的注册用户,一定不能出问题,“一定要把这个飞机引擎换好。”

1月13日之前,齐国梁所在的5人小组负责技术底层风险点的梳理。阿里集团涉及交易的20多个业务部门梳理出来300多个风险点,齐国梁小组的任务就是拿出规避这些风险的预案。“到了1月13日,我们的风险点梳理工作完成,又立即投入数据迁移。”

好在这场不为人知的硬战顺利完成。1月13日到1月30日,历经每晚从7点到次日早晨7点的奋战,手机、3C等5大类目的数据迁移全部完成,而且没有一次影响平台前端的购物交易。阿里的生命之树换上了部分新的血液。

2月12日下午,杭州下了2014年的第二场雪,阿里商品开发技术平台团队所在的5号楼“九天阁”会议室,王曦若拍着赵营苗的肩膀说:“哥们,今晚开始又是一场硬战,让兄弟们加油啊!”

12个日以继夜的紧张过后,商品开发技术平台团队终于松了口气。赵营苗站在DNA项目会议室,对满脸倦容的20多个员工说:“兄弟们,回家睡觉吧,我们完工啦!”

至此,淘宝20亿商品的信息数据迁移全部完成。“从用户的角度来说,这个项目还暂时感受不到变化。我们第三个阶段就是修订子类目,项目完成后,用户在使用搜索和类目时就会有新体验,到时候淘宝商品将一改繁杂混乱的状态,以一种相对整齐、规范、清新的姿态出现在用户面前。”赵营苗说。

阿里并不止于做达尔文计划和DNA项目,更有野心打造整个中国电商行业的标准商品体系,甚至有一天淘宝天猫的商品信息库不仅服务于自身,也可以服务到站外,服务到愿意拥抱互联网的传统企业。朱春勇说,“比如有一个卖家,他在线下有自己的品牌、专卖店、工厂,同时他也代理别的品牌,他可以做淘宝集市C2C,他也可以给天猫供货,他可能还走京东、当当的渠道……其实整个互联网目前没有一个统一的商品标准。我们做DNA的愿景,就是建立一个全网甚至线下都能用的统一的商品信息体系。”

达尔文在其进化论的代表作《物种起源》里写道:“芽由于生长而生出新芽,这些新芽如果健壮,就会分出枝条遮盖四周许多较弱枝条,所以我相信,这巨大的‘生命之树’在其传代中也是这样,这株大树用它的枯落的枝条填充了地壳,并用它的生生不息的美丽的枝条遮盖了地面。

原文发布时间为:2014-05-07

时间: 2024-10-27 15:25:29

【重磅】阿里:大数据搬家记的相关文章

数加平台——阿里大数据OS实践

在云栖计算之旅第5期--大数据与人工智能大会上,阿里云大数据事业部数加平台技术负责人陈廷梁从数加定义.起源.愿景.价值.架构.规划六个方面分享了<数加平台--阿里大数据OS实践>.其中,他主要介绍了数加平台的演进过程和阿里大数据OS的架构.   以下内容根据视频整理而成.   视频回顾:点此进入 pdf下载:点此进入   数加是什么 在阿里云的官网打开大数据部分(整个大数据部分统称为数加),其中包括:大数据基础服务部分,MaxCompute.ADS.流计算.大数据开发套件:人工智能部分,机器学

阿里小Ai之父解析阿里大数据在新兴行业的应用

"今天所有做智能芯片的,都会被迅速扫进历史垃圾堆.为什么?因为真正的智慧在云端.当所有数据汇集在云上,智慧的交融.数据的融合就变得没有成本.当没有成本成为现实时,爆发就不是以前的1+1添砖加瓦,而是像核聚变一样可怕." 6月8日,中欧EMBA走进阿里,阿里云人工智能首席科学家闵万里进行了题为<大数据创新业务实践>的分享,在演讲中他提到了上述的观点. 尽管演讲主题是<大数据创新业务实践>,但闵万里的PPT,以及在现场都始终强调本次分享的八字精髓:智能在端.智慧在云

详解:从Greenplum、Hadoop到现在的阿里大数据技术

对于企业来说,但是到底云计算是什么呢?相信很多企业都有这样的困惑,让我们一起回到这个原始的起点探讨究竟什么是云计算?云计算对于企业而言到底意味什么? 云计算的三条发展路径及三种落地形态 当回到最初的起点再审视云计算的发展路径,可以发现,经过十余年的发展演进,云计算有三条发展路径,并且最终沉淀下来了三种落地形态. 第一条路:源自于谷歌对大规模数据的处理,谷歌为全球的互联网用户提供同一个服务--搜索,它需要将全世界所有的网站的数据都爬回去,然后做排序和索引,之后再为用户提供搜索服务.可以看到这样的工

从数据来源、数据生态、数据技术、数加平台等方面,漫谈阿里大数据

目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象.我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的大数据,不是几篇文章就能说清楚的. 一,DT时代 大数据这个概念,其实在上世纪九十年代就有人提出来了,当时希望通过将所有零散的数据归并起来,然后进行数据挖掘,以看到以前存在的问题,去预测未来几年的趋势,来指导商业决策.比如保险行业,人寿保险会通过大数据的统计计算,根据人均寿命来计算保费与回报率. 这

漫谈阿里大数据

免费开通大数据服务:https://www.aliyun.com/product/odps 目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象.我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的大数据,不是几篇文章就能说清楚的. 一,DT时代 大数据这个概念,其实在上世纪九十年代就有人提出来了,当时希望通过将所有零散的数据归并起来,然后进行数据挖掘,以看到以前存在的问题,去预测未来几年的趋势,来指导

阿里大数据SRE专家池枫:做Tesla,是因为传统运维方式已不能满足业务发展需求

4月20日20:00-21:30,一场别开生面的技术大会-- "运维/Devops在线技术峰会"将在线举办.从网络基础架构实践和演进,到同城容灾架构剖析:从如何稳定.安全的使用云数据库,到企业如何在云上安全加固最佳实践:从阿里云专家理解的DevOps,到如何构建一个通用化的智能运维平台--不仅一一告诉你云上的运维重点在哪.运维人应该如何思考,也手把手教你如何做.同时,对于处于转型中的企业,我们也邀请了有代表性的互联网公司来分享他们的亲身体验. 阿里云运维/Devops在线技术峰会官网:

从Greenplum、Hadoop到现在的阿里大数据技术

在2016云栖大会·武汉峰会上,阿里云技术专家宋杰分享了他对云计算的三条路径的理解和感悟,并且阐述了云计算对于企业而言到底意味着什么的问题.那么阿里大数据发展之路经历了哪三次技术突围?阿里又是如何通过十余年的技术沉淀最终铸就飞天系统的呢?本文将为你揭晓答案,精彩不容错过. 对于企业来说,但是到底云计算是什么呢?相信很多企业都有这样的困惑,让我们一起回到这个原始的起点探讨究竟什么是云计算?云计算对于企业而言到底意味什么? 云计算的三条发展路径及三种落地形态 当回到最初的起点再审视云计算的发展路径,

阿里大数据破获超千万元假球系列案

通过QQ.微信等平台,在网上批发假冒斯伯丁.耐克.阿迪达斯等名牌篮球足球,近日阿里巴巴打假特战队与斯伯丁品牌合作,协助安徽省定远县警方打掉一制售假球团伙,目前制假团伙负责人杜某等已被警方控制.初步估算,该团伙涉嫌售假记录数千条,总涉案金额达数百万元. 而近半年来,利用大数据技术阿里巴巴打假特战队与品牌合作,已协助警方打掉五个制售假球窝点,总涉案金额超过1000万元. 成本15块钱假名牌篮球朋友圈热卖 "制售假球有销路,能挣钱!"面对警方的询问,杜某最终说出了真心话.2011年,杜某在定

阿里大数据野心:建立数据地图 未来谨慎开放

阿里集团董事局主席马云提出的"平台.金融.数据"三步走战略正逐渐清晰起来.继阿里集团架构调整.组建小微金融服务集团之后,阿里大数据的神秘面纱也在一步步揭开. 4月11日,阿里举办媒体开放日,淘宝网商业智能部首席商业智能官车品觉首次向外披露阿里大数据进展. 车品觉认为,未来,数据将成为公司的核心竞争力.阿里集团数据的优势在于,用户从搜索到浏览.支付,形成深度的交易链条,其中每一个节点都将产生大量数据.他透露,阿里集团拥有的数据达到30P(1P=100万GB). 然而,当前数据人面临一个矛