HiC2011:四大企业NameNode优化思路

文章讲的是HiC2011:四大企业NameNode优化思路,2011年12月2日、3日,Hadoop in China 2011大会,在北京会议中心隆重召开,本次大会以“海量数据掘宝”为主题,吸引了千余名来自国内外的hadoop专家和企业用户,这也意味着Hadoop的蓬勃发展趋势已经不可阻挡。


点击查看IT168视频直播专题

  下午分会场一《Hadoop生态系统》的圆桌讨论的以如何优化NameNode的性能为主题,来自ebay、淘宝、百度、中科院计算所的专家分别介绍了不同的NameNode的优化思路。

  eBay:高可靠性

  eBay对于NameNode的可靠性需求比较高,比如任何一个NameNode死掉的时候,Cluster集群都需要继续正常工作,因此,Master NameNode需要故障转移到任何一个冗余的NameNode,所有的冗余NameNode失败都不能影响到Name Node服务;冗余NameNode可以随时加入到集群中等等。




  淘宝:从单NameNode到多NameNode

  来自淘宝的罗李表示,淘宝有一个很大集群,很大的数据、文件,现在存在一些问题,比如说刚刚重启的时候会有一段很长时间的准备时间,对于在线业务或其他的紧急作业无法及时处理。所要做的事情是从单NameNode到多NameNode,每一个NameNode没有主从结构,把NameNode内存里面所有的结构全部都实体化。

  百度:HDFS2——HDFS的一种分布式NameNode实现

  当时启动项目的时候的宏伟目标在很短时间内达到一万台集群的规模,是什么因素限制可可扩展?主要有两个方面,最重要的就是内存,其次就是吞吐量的压力。通过一个对象管理层,把文件看做对象,对象底层的东西如Owner等独立出来。

原文发布时间为:2011-12-02

本文作者: 唐蓉

时间: 2024-10-24 12:26:43

HiC2011:四大企业NameNode优化思路的相关文章

分享做英文企业站优化的思路

大家好,我是老男孩SEO工作室的石头,在企业站优化订单中大部分都是中文网站,也就是我们所说的百度优化,不过也有少量的英文企业站订单,这部分客户要做谷歌优化.例如:一些做汽配的企业网站,一般都会有中英文两个版本的,而英文版的自然要做针对谷歌的优化.其实从大的方向上说,谷歌优化与百度优化没有多少本质的区别,只不过在一些细节方面,以及优化时间上有差别,有人说谷歌优化比百度难做,有人则不这么认为.下面根据笔者手头上的一个案例来分析下英文企业站优化思路,思考下英文企业站如何做好关键词优化,或许对你做谷歌优

企业站整站优化思路之如何增加SEO流量

随着SEO服务被广泛的认知.越来越多的企业选择SEO服务,任何事物总是有两面性,而传统的企业站优化主要是针对几个主关键词的优化,如果是一些比较冷门的关键词,那么即便是优化到百度第一页也不能给网站带来多少流量.所以未来的企业站优化将会由关键词优化过渡到整站优化,或者是当下比较热门的整合网络营销.废话不扯,那么企业站如何进行整站优化呢?可以从哪些途径去增加SEO流量呢?以下以笔者的一个客户网站为例,如下图:   这是一个以图片为主的企业站,主关键词:效果图制作.室内效果图.建筑效果图,图片太多不利于

浅析:新站上线我的优化思路

众所周知,新站上线其优化手法和思路往往和老站有着巨大的差别,主要在于新站本身根本没权重,上线之后第一道关就是要经过百度的考核,在百度考察的过程中,我们网站没排名,甚至很长时间收录都不会变化,这个时候也是最容易浮躁和出问题的时候,笔者自己的西安橱柜网上线一周左右,正常工作日每天更新,目前的状况是收录2篇,现在笔者分享下后一阶段我对于这个站的优化思路,大家先看看图示.   第一,网站关键词的布局分析.新站上线之后关键词的布局和分析是基础,企业网站导航一般是公司简介.产品展示之类的,布置关键词一般三大

SEO必备的优化思路

对于网站优化,每一位SEO人员都有自己一套优化方法,其优化方法因人而异,各不相同.但作为一个出色的SEO人员在接手一个网站优化时必须要具备一套完整的优化思路,并根据优化思路制定好优化计划,每天照计划的内容进行优化工作,如此才能达到事半功倍的效果.如果SEO人员没有一套完整的优化思路,那么情况会变得非常糟糕.以下是笔者在优化网站时总结的一套思路与大家分享. 一.分析将要优化网站的实际情况 随着电子商务的迅猛发展,几乎每个企业都有了自己的企业网站.那么,当SEO人员在接手一个网站时,第一件事就是要检

谈参加SEO培训是学习优化方法还是优化思路

随着搜索引挚的高速发展,越来越多的企业开始走进互联网进行推广自己的产品,而使用网络推广自然需要建站,这样才突显出自己的专业,当然并非网站建成之后就行了,还要给网站做一系列的优化处理,使之更符合搜索引挚和用户的口味.当然这也催出了SEO这个行业,现在的SEO培训可谓是雨后春笋,让人应接不暇啊.不过笔者在论坛上看到很多朋友说参加SEO培训到底是为了啥.笔者也参加过某个SEO培训,今天来谈谈参加SEO培训是为了学习方法还是思路的. 笔者从去年7月份开始参加了某个SEO培训,从开始参加的目的其实主要是为

谈装饰公司网站用户体验度优化思路

中介交易 SEO诊断 淘宝客 云主机 技术大厅 谈装饰公司网站用户体验度优化思路 企业做网站的目的在笔者大致分几个部分,销售型.品牌型.混合型,不难看出做网站的目的与中小型企业网络营销的制定是类似的,中小型企业从事网站建设和优化工作主要是为了形成转化率,带来实际的销售效益,拓展多个销售渠道,今天笔者就结合自身装饰公司网站谈一谈体验度优化的思路和转化率的影响. 1.从浏览者角度出发.企业通过网站产生转化率,必须首要站在浏览者的角度分析网站的整体,简单的说就是浏览者想看到什么,你的网站能不能实现浏览

如何做好企业网站优化之关键词筛选篇

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 在很多人眼里,做网站优化并不难,认为伪原创一些文章.重复几遍关键词.换换友情链接就是网站优化的全部工作.我们并反对这部分人的认识,因为很多小型网站这么做确实能够达到预期的效果,但遗憾的是这样的效果往往不够稳定,持续时间不长.但是作为一个长期运行的企业网站,这样的效果企业所追求的,需要的是长期稳定,同时注重网站转化率,最终帮助企业提高品牌知名度

企业网站优化的变革摒弃框式化注重价值因素

中介交易 SEO诊断淘宝客 站长团购 云主机 技术大厅 众所周知,网站优化过程中,企业网站的优化一直是很多seoer长期致力研究的重点,作为企业站我们应该不断调整自己的优化思路,当下百度<白皮书>和百度站在平台发布的种种网站优化指南明确的告知广大站长,价值因素是企业站优化的核心所在,具体体现在那些方面呢?好,咱们闲话短续,进入今天主题. 第一,企业网站是企业形象的窗口.我们知道企业网站对于消费者而言就是一个信息获取的窗口,当然企业网站形象建设就是我们企业网站价值点的体现方式之一,在这里笔者用一

通过百度网页质量白皮书看企业站优化新动向

随着百度算法的不断升级,这不,近期百度网页搜索质量白皮书再次向站长发布鲜明的立场,从多个方面阐述网页质量对于网站权重的影响,作为一个企业站是众多网站中的一个重要分支,我们应该如何做好企业网站的运维和优化,百度网页质量白皮书对于企业网站都有哪些具体的要求呢?好,我们闲话短续,今天正题,通过百度网页质量白皮书看企业站优化新动向. 第一,企业网站要通过内容质量浏览体验和可访问性入手. 我们先看百度质量白皮书的要求是什么?搜索引擎的使命是提供给用户能满足其需求.高质量的内容.百度搜索引擎会根据网页质量情