一周热点:Google数据中心帝国的十条“黄金战略”

一周热点:Google数据中心帝国的十条“黄金战略” 发表于2013-03-15 15:52| 次阅读| 来源CSDN| 0 条评论| 作者CSDN 数据中心GoogleHadoop机器学习RubyGo开源云计算云热点服务器 摘要:本周内容:Google数据中心帝国发展所倚赖的十条“黄金法则”最受关注;Iron.io使用Go代替Ruby重写其服务,并带来15倍缩减服务器的效果,最让人费解;图解Hadoop生态圈带来最直观的视觉感受;还有那GitHub推进的开源时代以及传说中的“天网”和“终结者”。

本周文章可以说是包罗万象,覆盖了多个领域:数据中心方面,Google数据中心帝国的十条“黄金法则”;服务方面,Iron.io使用Go代替Ruby重写其服务,将服务器数量缩减到原来的1/15;Hadoop生态圈,一目了然的图片解剖;开源方面,GitHub打造的开源社区;山寨方面,云巨头Amazon频繁推出其合伙人类似产品;机器学习方面,“天网的雏形”,Robot或将崛起。下面带大家做简要的回顾:

1. 领导阶层深远的眼光:Google数据中心帝国倚赖生存和发展的十条“黄金法则”

长期以来,谷歌对其数据中心基础设施的设计保护已经到了“令人发指”的地步,因为很多人都想偷师,但是偷不到。尤其当涉及到可再生能源、高效的冷却系统、新型的电力设备和创新式建筑布局的时候,谷歌捂的更加严实。谷歌数据中心的副总裁Joe Kava表示,谷歌的数据中心规划一直遵循着谷歌最初的10大信条,这也是谷歌的创始人在他很年轻的时候写出来的(不过GigaOM的记者Ucilia Wang在文章中并没有提到具体是哪一位),本文算是对谷歌10大信条的重新解读。

2. Iron.io使用Go代替Ruby,将服务器数量从30降到2

Rbuy的高效、简洁和易于开发一直广受编程者的喜爱,然而在大享其益处的同时似乎总有些方面让人不大如意。这不,Iron.io在使用RoR快速开发和扩展其服务不久后就受到了Ruby的限制,不惜花大功夫使用Go重写其服务。

Go版本推出后,Iron.io的服务器数量直接从30台减少到了2台,附加的两台实现冗余服务器更是从未用到。CPU的使用率不到5%,而初始化过程中对比Rubby使用接近50M的内存,Go版本只是用了不到几百K。

3. 直观明了的Hadoop生态圈图解

GigaOM总结的Hadoop生态系统图,基本覆盖了主流的Hadoop相关企业。尽管Hortonworks或Cloudera掌握了大量核心技术并推出了发行版,Oracle、Teradata等传统数据挖掘企业虽然缺少Hadoop核心技术,但却掌握着渠道。

4. AWS“山寨”技术伙伴创意与产品,是自我完善还是杀鸡取卵?

我们一向认为AWS是全球范围内云计算成功的案例,其已经完成了公共IaaS的建设与运营积累,积极向PaaS扩展并迅速完善SaaS各类应用,而在这一过程中已被确立的繁荣的生态系统更是为美国移动和互联网近年来一大批新兴创业公司的崛起提供了很棒的平台。但本文所反映的或是“阳光下的阴影”,尤其是在Amazon近期频频发布新服务,如Trusted Advisor、OpsWork之后。

近几个月以来,通常以生产类似第三方服务企业的“仿冒品”和削弱服务价格等方式,Amazon“侵犯”到了其他公司的领域。对此,部分合作伙伴进行了公开指责。比如Newvem (一家云优化企业,通过云用法分析产品帮助企业节省资金)的首席执行官Zev Laderman曾公开表示:“Amazon现在所复制的就是他们曾经鼓励合作伙伴所做的。Amazon合作伙伴计划就是一条不归路。”而Chris Wensel,Concurrent(Amazon另一家合作伙伴)数据分析平台CTO更是做了生动的比喻:如果Amazon比作一辆汽车,这些伙伴就犹如汽车上的各种配件;因为他们缺少了Amazon对等的控制权,所以很可能有被同化的那一天。

5. GitHub时代:为什么我们都在开源

GitHub的本意是旨在成为一种开放的软件协作平台,但它目前已成为一个巨大的综合性的平台,其作用远远超过单纯地开源代码。它已经被新一代的人们授权进行协作、创造和生产。未来掌握在新一代手中,并且已经在进行改变。GitHub不仅仅是一个工具:我们正在见证一个新文化的诞生。

GitHub已经被新一代的人们授权进行协作、创造和生产。很多开发人员将对传统的文化规范的丢失表示哀叹,但未来已经掌握在新一代手中,并且已经在进行改变。

6. “天网”降临 机器人或将崛起?

机器人能自我更新和学习?这听起来有点天方夜谭,但一群欧洲的研究人员已经于日前发布了机器人使用的第一个云计算平台版本。机器人用一个基于云的应用平台进行通信,执行计算任务,并连接到一个云数据库的完整信息,如地图、图片、语言,以及其他的Web服务。

这个项目听起来有点像《终结者》里天网(SkyNet)和机器崛起的象征,但这有点夸张了。毕竟,机器本身并不相互通信,而是通过人类操作一个集中式的计算基础设施。它类似于IBM的沃森(Watson)系统,其很擅长回答问题,但其优秀的回答问题能力是建立在同样优秀的信息数据库和算法。

7-8 分别是关于公有云服务和大数据的文章:云落地@北京,北京市北斗公共平台或开放API?和从查询开始分析数据本身就是个死胡同

前者讲述了在云计算平台建设上,IaaS、PaaS和SaaS之外,应该还有一股力量,来自私有云建设架构,公有云的服务模式。正如日前青岛海关动态数据仓库云架构师任林对CSDN所说:“我们并不关心IaaS、PaaS和SaaS的划分,反而最关心的就是对产品(其他品牌)和系统(旧有系统)的整合性。在系统做好之后,将行政IT能力提高,以云的方式服务公共利益,最终形成独特的公有云服务就是目标。而后,或许会看下对应的划分和所属归类。”

后者阐述了从查询开始分析数据无异于大海捞针,永远都不会有发现。现有的数据分析只建立在收集数据上的1%,其它99%收集的数据都被抛弃;而在这99%的数据中可能包括了解决企业面临的大问题,能加速创新,使业务迅速增长的真知,不能因成本的原因放弃分析;更不要抱着“如果我有足够多的数据,我肯定能怎么样怎么样”的思想,其实你手中的数据已经够多了。

9-12更多信息:MIT发表最新云数据库性能优化算法DBSeer、【Cloud Edge第8期】初创公司SwiftStack:“放在盒子里的S3”、Twitter开源Parquet 将支持Impala加速实时查询。(审校/王旭东)

“第五届中国云计算大会”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

如果您有丰富的实践经验、有创意性的议题并乐于与人分享成果,欢迎毛遂自荐或推荐讲师;相关问题及建议请@CSDN云计算或者加入147015990(QQ群:中国云计算) 参与讨论。

大会官网:第五届中国云计算大会

时间: 2024-09-17 04:31:29

一周热点:Google数据中心帝国的十条“黄金战略”的相关文章

Google 数据中心探秘

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 不久前,Google 数据中心还是戒备森严的禁地,因为 Google 的很多技术创新被视为公司的竞争优势,今年4月1日,根据其2006年作出的让自己更加透明的许诺,Google 公布了他们位于 Mountain View, Calif 总部的数据中心的一些细节.并在 YouTube 发布了一系列视频让众人一睹为快. Google 工程师 Ji

七年,Google数据中心从保守走向开放

13日的Phonix 7 X 24小时交流会上,Google数据中心运营部总监分享了搜索巨人在这7年内数据中心的战略演变.从他的讲话中了解到一个瞠目结舌的变化,也是该公司的一个先进思想:数据中心不应该是一个保存服务器的地方,它本该就是台计算机! Google数据中心副总监Joe Kava,以数据中心历史上的7年开始了他的讲话.首先,看一下时间轴: 2005:Google开始在数据中心中使用集装箱将IT硬件集成到数据中心空间中. 2006:Google建立了自己特色的数据中心,将硬件从集装箱移植进

Google数据中心耗电惊人

Google数据中心耗电惊人 当Google在俄勒冈州(Oregon)的数据中心满载运行时,消耗的电力基本上和纽卡斯尔(Newcastle)一个城市所有的家庭用电量加起来一样多. Dalles是美国俄勒冈州北部哥伦比亚河( Columbia river)岸上的一个城市,Google在Dalles的边上拥有的30英亩土地,他们在这里建立了几乎是世界上最大,性能最好的数据中心.四个装备有巨大空调设施的仓库内,放置着数万台Internet服务器,这些服务器每天处理着数十亿条Google网站传递给世界各

Google数据中心的秘密

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 Google提供全球大量的服务,几乎已经快横跨整个信息科技的服务,但是Google数据中心的内部运作一直都是秘而不宣,许多人可能都碰过Google的服务出状况,但是这些状况总能在可容忍的范围内解决,你可能发现你的Gmail的容量一直在改变,是什么架构让空间像捏橡皮糖一样越捏越大?前阵子Google的朋友Jeff Dean聊天中稍微揭开了公司基

加强云服务:解锁Google数据中心的秘密

最近,在旧金山召开的Google Cloud Next大会上,这家互联网搜索引擎巨头展示了其如何保护.运营其日益增长的云数据中心,并对这些数据中心进行压力测试. 鉴于谷歌这家超大规模的云计算服务巨头的数据中心所需要支持的庞大用户群和数量众多的服务,推动了许多提供商试图破解谷歌公司如何在全球范围内连接起其所运行的海量基础设施的设计规则手册. 他们倾向于建立多个庞大的园区式服务器场,而不是构建单一的独立设施来备份到另一处地理位置的数据中心,进而也就不需要任何单点故障来防范停机. 超大规模的运营商们通

Google数据中心PUE再创新高

近日,Google宣称他们位于在加州的数据中心PUE(能源利用效率)上再创新高.若遵循以下指导方针,你同样可以实现更高效的能源利用,一名Google官员这样说道. Chris Malone是Google的热能技术建筑师,他详细阐述了这个互联网搜索巨人是如何在它的10座数据中心里达到1.16的PUE值. PUE指标由Green Grid(绿色网格)设计,其计算方式为:PUE = 数据中心总设备能耗/IT设备能耗. 数据中心PUE的目标是让计算结果尽可能的接近1.0.根据Uptime Institu

TierPoint公司在美国二级市场悄然布局数据中心帝国

目前,云计算数据中心的租赁热潮冲击着全球主要数据中心市场的发展.数据中心行业中通常充斥着这样的头条新闻,让人们很容易忽视数据中心行业的其他主要趋势,这其中包括比较活跃的二级数据中心市场. 而一直利用这一趋势成功的公司的例子总部位于密苏里州圣路易斯的TierPoint公司,是一家私人投资支持的主机托管和混合云服务供应商,目前,已迅速成为了数据中心行业一支不可忽视的力量.在过去的一年左右的时间,该公司加快了收购步伐和收购规模,同时通过建设新的数据中心迅速发展壮大.最值得注意的是,该公司最近在俄克拉荷

Google将机器学习、人工智能应用到数据中心

数据中心的管理日益复杂,时刻都有庞大而复杂的数据信息需要处理,各种各样的因素随时有可能导致突发性事故的发生,而造成的损失也是惊人的.这些复杂的因素很难通过直观的方式分析和理解,机器学习的介入有一定的必然性.Google数据中心副总裁Joe Kava告诉我们采用神经网络可以"预见"数据中心的"未来",从而为数据中心的工程师们提供最优的方案,Google具体是怎样做的?作者Richer Miller为我们带来了精彩的分析. 以下为译文: Google将机器学习和人工智能

盘点创新巨头Google在互联网帝国版图的那些触角

我们知道,Google是一家庞大的科技公司,其创新能力也可以算是世界最强的.它不仅涉及搜索.系统.应用的互联网产品,还有Chromebook pixel.Google Glass.Nexus4/7/10等一系列硬件,更有甚者,它还触及Google Fiber.无人驾驶.当日快递等更加疯狂的基础设施服务. 那这些产品和服务之间有什么联系吗?Google 难道只是为了创新而创新,用一个个刺激肾上腺素却又毫无关联的产品来堆砌自己的创新帝国吗?虽然Page.Brin.Schmidt或任何一位高管都没有明