揭秘eBay四大系统 从行为数据中寻找价值

喜欢海淘的朋友应该对eBay并不陌生,如果你还不了解,可以把eBay+PayPal理解为淘宝+支付宝的组合,当然eBay不仅有C2C还有B2C的模式。虽然介绍了背景,但今天要说的并不是电子商务的发展,而是大数据在电商内如何发挥价值。

因为不论国外还是国内的电子商务企业,他们的相同点都是以业务为导向。eBay的做法是用数据驱动商业,其上所有的数据产品都是针对业务而生,数据部门需要对不断变化的用户需求找到解决之法,也就是从客户的行为数据中来寻找价值。

行为数据用混合的手段来处理

数据是eBay发展的基础和价值所在,所以eBay数据服务和解决方案团队从eBay成立的第一天就已经存在,从数据仓库到数据分析再到数据服务,部门的名字一直随着发展在不断变化。但万变不离其宗,数据服务和解决方案团队就是一个针对数据展开想象的部门。

eBay数据服务和解决方案团队分布在美国西雅图、圣何塞以及中国上海,而中国团队全职和外包人员总共将近有100人,其中有不同的职位和分工,包括数据科学家、数据工程师、商业需求分析师、产品经理四大类。两个区域的团队互相协作,共同开发核心数据的同时也支持不同的业务部门。

揭秘eBay四大系统 从行为数据中寻找价值

  eBay中国数据服务和解决方案团队主管李炜

eBay目前整体有四大系统,其中三个为生产系统,一个为测试开发系统。生产系统包括:第一,保存交易型数据和用户数据的企业及数据仓库(Enterprise Data Warehouse);第二,Teradata为eBay特别定制的分析系统,主要进行非结构化的用户行为数据处理;第三,专门为数据分析师使用,方便快速找到想要的数据。eBay中国数据服务和解决方案团队主管李炜指出,前两个系统主要为生产环境做批处理,最后一个系统是帮助数据科学家进行测试和制作分析报告。

由于eBay电子商务的性质,其用户行为数据占80%以上,而通过买家和卖家的行为数据eBay可以做很多个性化的应用。买家更喜欢买哪些种类下的产品,有哪些购物习惯、什么时间购买,这些数据可以帮助卖家了解哪些是自己最大的客户群,以及基于机器学习对未来的热点市场进行预测。

“eBay的行为数据都是非结构化数据,这对于关系型数据库的压力非常大。”李炜谈到。因此eBay则使用了混合方案,使用Hadoop来应对海量非结构化数据,将原始数据首先加载到Hadoop上,完成行级结构化处理,在将这些预处理好的数据送到不同的系统,之后处理已经模式化的数据和半结构化数据。

eBay拥有庞大的Hadoop节点和Teradata节点,这也带来了三大挑战:

第一、不同系统间的数据搬移,eBay每天产生的数据量是巨大的,这些数据要在多个平台上搬移,在搬移的过程中要保证不同系统中数据的同步和数据质量。

第二、不同系统的管理,随着eBay系统平台的越来越多样化,对于Teradata和Hadoop等系统的管理,以及搬移数据的管理都需要不断增强。

第三、技术能力提升,不同平台有不同的技术,这就需要员工具备综合技术能力。

只要有业务需求就有数据产品

对于eBay来讲数据平台要具备高可靠性、高可用性、易用性。eBay与Teradata的合作已有20年之久,eBay也是目前Teradata最大的客户之一。李炜回顾了Teradata系统在eBay上这20年中经历了多次演变,到目前为止eBay的核心数据、交易型企业级数据和用户行为数据都在Teradata上进行存储管理和应用。

以数据驱动商业是eBay的文化,大数据平台最终是为了产生价值,现在除了传统的数据整合,eBay在各个业务环境中都有着不同的数据产品。

eBay有一款针对卖家的线上免费工具Seller Hub,可以为每一位卖家进行深入的分析,哪些商品更畅销,产品如何标价才能具备竞争优势等。这中间会使用到数据模型,李炜强调模型不仅仅从eBay网站中的所有类目中调取价格,而且还会比对相似产品的关联价格,最终为卖家提供指导价格。

结合了自身数据和第三方数据也让eBay可以完善网站上不能捕获的一些数据来绘制用户画像,像性别、职业、收入等。包括对用户画像进行分级,哪些是潜力卖家,哪些是高风险买家,从而更精准地进行市场推广。

刚刚更多说的是eBay如何用数据提供一些产品,在内部eBay同样用数据在优化自身网站,在对页面的设计、新功能的设计上都会提供相应的建议。

2016年,eBay还将继续发展B2C和C2C市场,但是eBay有B2C、C2C、二手货多种卖家的存在,如何管理各个类目中的商品成为一个非常大的挑战,eBay要做到把大部分的类目最终关联到结构化的产品系列中,实现精细化的管理。

用户的需求是多样化的,eBay也会有越来越多的需求,未来与Teradata的合作上,不仅仅是硬件一体机层面,在美国eBay已经开始使用了Teradata提供的云服务,并且已经落地了一些具体的应用。

本文转自d1net(转载)

时间: 2024-09-20 06:17:14

揭秘eBay四大系统 从行为数据中寻找价值的相关文章

麦肯锡:从客户大数据中获取价值,企业需要思考这几个问题

编者按:现在是大数据的时代.很多科技巨头掌握了大量的客户数据,而大家都清楚,这些数据是无价之宝.然而,由于技术.理念等等方面的限制,实际的客户数据利用情况并没有那么令人满意.麦肯锡在报告中分析了这一情况,并且为希望充分利用大数据的公司提出了几点建议.以下是报告正文. 公司可以通过梳理出新的模型.推动生产效率.创造出新的解决办法来使用他们的信息. 在一个以消费者为中心的世界里,一种能够整体获取并利用客户的洞察力来塑造产品.找出解决办法并改善购买体验的能力显得至关重要.研究告诉我们,能够利用客户行为

从数据中获取价值(一):数字化渠道及物联网

大数据其实并不存在. 它只是一个模糊的概念,实际操作人员们都知道,它只代表着"关注从数据和分析技术的结合中提取价值".大数据标志着我们对数据关注重心.推动力和投资方向的转变,而按照现在的惯用说法,"大数据"这个概念包含了或大或小的所有数据. 事实上,大多数新技术刚诞生时,它们的概念都比较模糊.以智能手机为例,在这个概念刚刚出现时,它的名字代表了新奇和创新,"智能"这个词意味着这是新一代的手机.然而随着使用智能手机成为一种常态,"智能&q

从数据中获取价值(二):多类型分析

很久很久以前,认真处理数据并对其进行分析是决定企业生死的关键要素.然而现在,情况却已经变了. 通常来说,分析技术会对运营提供支持.推动流程的进行并对决策进行辅助.分析生成的报告能够帮助企业追踪销售表现.流失规模等等数据.对战略和战术的评估与调整对于帮助企业按照计划方向的发展来说非常关键. 但麻烦的是这些分析都是些"事后诸葛亮",分析模型只能告诉我们过去的一段时间里都发生了什么,我们只能利用历史表现的报告作为决策制定的基础,由此决定未来的规划与投资. 这种方法在相对稳定的市场中是行得通的

win8.1系统如何在表格数据中制作雷达图

  win8.1系统如何在表格数据中制作雷达图 具体方法如下: 1.在wps中新建一个工作簿,输入表格数据; 2.然后选中表格内容,点击插入--图表--雷达图; 3.添加好雷达图后是这样子的(如图),可以看见标题不正确,而且还没有说明; 4.然后我们修改标题和添加布局.修改标题删除原标题后直接修改就可以了.添加布局点击图表元素--快速布局,选择自己喜欢的布局; 5.当然,也可以选择不同格式的雷达图.点击图标样式--样式选择自己喜欢的图标格式; 6.你也可以设置雷达图上所要显示的数据点.点击图表删

日志采集-在应用程序监控系统的设计中,有没有针对应用程序埋点获取目标数据的研究?

问题描述 在应用程序监控系统的设计中,有没有针对应用程序埋点获取目标数据的研究? 怎么埋点的?埋点这个名词在业内好像并没有统一吧?有些监控信息直接从应用程序日志里面获取就行,但是客户端(PC或移动端)是不是通过埋点上传数据给服务器?这里面有没有关于埋点的方法论?或者成体系的文献之类的东西? 解决方案 有的,你可以看看万方上的论文.主要是数据分析这块.

系统联系人-android中如何向系统中添加联系人数据

问题描述 android中如何向系统中添加联系人数据 以下是我的代码,但是总是添加的时候程序会崩溃,也没有错误的日志,麻烦哪位大神帮忙一下 ContentValues values = new ContentValues(); //先向RawContact.CONTENT_URI执行一个控制插入,目的是获得系统返回的rawContacctId Uri rawContactUri = this.getApplicationContext().getContentResolver() .insert

为您的数据中心寻找合适的DCIM系统

在今天的数据中心行业中,最热门的流行术语可能非数据中心基础设施管理(DCIM)莫属了.现如今的几乎每款产品似乎提供了某种DCIM功能,并且还有几款独立的DCIM系统声称能够覆盖一切.但DCIM到底是什么?其到底应该做些什么呢? 数据中心基础设施管理监控工具的出现,引发了一些问题.什么因素使得DCIM对您的企业是有价值的呢?其是否会有助于提高您企业的盈利能力呢?其能否执行您企业最初所需要的一切工作需求,并能够随着您企业的发展一起成长呢?部署实施DCIM及保持其更新需要花费您数据中心工作人员的多少工

从Social Media海量数据中寻找专家的五大手法

郑昀 20090901 从海量信息中寻找专家,发掘或放大他们的影响力,在Blog 时代甚至BBS 时代,就有不少努力.当然,那时基本靠人或编辑.中国的编辑们最喜欢做这样的事情,罗列一堆的专家或写手作为导航入口.然而随着时间流逝,如果你逐个名字点击过去,要么久已不更新,要么已经变成了XX营销的软文集散地,要么还在更新但味同嚼蜡. 在Social 时代,由于传播更为迅速范围更广,用户也相对出于自愿传播,所以很多寻找专家的旧手法都可以通过更有效的数据获得验证.那些早期创了牌子后来又只打算借这块牌子赚钱

从“大数据”中淘金很酷,但方法还很盲目

本文原载英国<金融时报>网站,原标题:Big data: are we making a big mistake,貌似我看到的时候已经有点晚了,但还是分享下吧.因为它确实讨论了我最近所思考的一些问题,是一篇思辨的文章.如果你以前没了解过大数据,这又可以看作一篇入门文章. 这篇文章只算一家之言,因为质疑总比证实更简单,但大数据现在炙手可热,这些反面的意见,如果作为谈资收藏起来,也是不错,说不定把妹子的时候会有妙用. by信海光微天下 大数据是对于大规模现象的一种模糊的表达.这一术语如今已经被企业