解析淘宝Hadoop作业平台——宙斯Zeus

当下中国超大规模的单Master节点Hadoop集群在哪里?在淘宝. 据悉,淘宝Hadoop集群拥有2860个节点,清一色基于英特尔处理器的x86服务器,其总存储容量50PB,实际使用容量超过40PB,日均作业数高达15万,为淘宝网的日常运营做出了关键支撑.对了,它还有一个很美丽的名字:"云梯". 近日,<网络世界>记者有幸采访到了阿里集团技术共享平台核心系统研发部海量数据技术专家罗李.作为淘宝"云梯"集群元老级创建者,以及目前的负责人,他详细讲解了Ha

淘宝http://www.aliyun.com/zixun/aggregation/14119.html">Hadoop集群机器硬件配置 国内外使用Hadoop的公司比较多,全球最大的Hadoop集群在雅虎,有大约25000个节点,主要用于支持广告系统与网页搜索.国内用Hadoop的主要有百度.淘宝.腾讯.华为.中国移动等,其中淘宝的Hadoop集群属于较大的(如果不是最大). 淘宝Hadoop集群现在超过1700个节点,服务于用于整个阿里巴巴集团各部门,数据来源于各部门产品的线上数据库(

最近在解析淘宝中商品的信息,结果出现乱码,如: 原因就是中文字符格式出现冲突,ASP.NET MVC 默认采用utf-8,但是淘宝网页采用gbk. 在网上找了一下,最常用的解决方法就是修改web.config: < system.web> ...... < globalization requestEncoding="gbk" responseEncoding="gbk" culture="zh-CN" fileEncoding

(部份整理自<Detail2.0总体方案-20140818>) 1.现状背景 Detail当前的问题可参见<Detail2.0介绍>(2014年7月),本文不赘述.而Detail新平台的目标是提升协作效率/稳定性/扩展性,倡导商品详情业务归一,能横向复用在其它Detail也能运用在非Detail场景.从产品到研发等各维度均展开梳理和重构,采取模块化.SDK/API等方式来定义协作和扩展机制,并提供合成和分组两种部署模式,以应对创新业务快速多变的需求.并在稳定性和性能方面进行统一封装

我也使用淘宝OpenAPI也大半年了.不过了,由于阿里软件的文档比较的乱,让很多初学者分不清头绪(注:淘宝OpenAPI是开放在阿里软件的一个平台上,是什么服务集群平台吧).当然了,在中国,能够将自己的http://www.aliyun.com/zixun/aggregation/17488.html">服务资源开放出来给第三方使用,特别是淘宝网这种大型商业网站来说,阿里巴巴的这种分享精神和开放的胸怀还是令人佩服的.因此在使用OpenAPI过程中,我们如果211.html">

1.淘宝2月TOP10行业曝光 服装手机销售最高 超级数据曝光了2月份淘宝和天猫平台销售额最高的10个行业,排名前三依次是女装.男装和手机.根据数据显示,服装依然是淘宝和天猫平台销售比重最大的行业,手机和3C数码等标准性很强的商品所占的销售比重也不断上升.随着电商的发展,住宅家具等大件商品网上销售的比例也不断增加. 2.京东严惩违规服务商:擅存卖家数据将清退 京东服务市场于近期出台违规处理措施,针对服务商违规行为,采取隐藏.冻结.下架.清退等四种处罚办法.其中,服务隐藏是指服务将无法在京东服务市

刚刚过去的"双十一",阿里巴巴旗下的天猫和淘宝两大平台,以单日191亿元的支付宝成交额,刷新了中国电商行业的纪录.对于这一数字,天猫用了许多比喻让大家更直观地感受它是如何惊人:如果将百元大钞摞起来,191亿元高达1.9万米:如果用常见的点钞机来清点,需要耗费133天-- 在今年"双十一"电商大促销引发全国网友疯狂抢购之后,一场关于电子商务为代表的"新经济(310358,基金吧)模式"与传统线下零售渠道之间的争论引发关注:在阿里巴巴集团董事局主席马

淘宝消费者维权平台上线 联合品牌商向 假货"宣战" 昨日,淘宝网宣布,国内首个电子商务企业主动发起建立的消费者维权平台上线,并向消费者承诺"你敢买,我敢赔".消费者可以通过维权平台24小时自助维权,随时监督投诉进展情况.淘宝网希望维权平台能成为每个淘宝用户的"网上3·15".新的维权平台,借助淘宝网的技术优势,调度消费者的维权意识,集结商家的诚信诉求,以"全透明"的流程."全天候"的监控."全方位

"游戏我们一分钱也不投.人家投,我们鼓掌,但我们不做,这是我们的一个原则--"四年前,马云说过的话依然掷地有声,而如今,淘宝游戏联运平台却悄然进入大众视野.一时间,马云再度食言,淘宝涉足游戏领域的新闻又开始为大众所关注.淘宝做平台,到底能不能做起来,再度成为互联网热议的焦点. 导流用户前景不容乐观 来自易观国际的数据指出,2012年第一季度中国网页游戏市场规模23亿元,环比增20%,同比翻番.而此前预计,2012年网页游戏市场收入规模将达56亿元,2013年将达73亿元.根据网页游戏网