话说谷歌云计算的基本架构

总所周知的谷歌,GFS是由google独有设计的分布式文件系统,是由大量安装有Linux操作系统,通过PC构成的集群系统。全部集群系统由一台Master(通常有几台备份)和若干台TrunkServer构成。其中GFS中文件备份成固定大小的Trunk分别存储在不同的TrunkServer上,不同的Trunk有很多的拷贝成分,也可以存储在不同的TrunkServer上。Master负责维护GFS中的Metadata,即文件名叫做Trunk的信息。客户端从Master上得到相关文件Metadata,根据要读取的数据不同,在文件中的位置必须对应TrunkServer通信。本文主要介绍由Google云计算组成的基础架构。

据介绍,google的每一份数据至少放在三个不同位置的机器上,所以可靠性是可以高度保证的;而且操作GFS和操作本地磁盘一样简单易行。

目前Google拥有超过200个的GFS集群,其中有些集群的计算机数量超过5000台。Google现在拥有数以万计的连接池从GFS集群中获取数据,集群的数据存储规模可以达到5个PB,并且集群中的数据读写吞吐量可达到每秒40G。

MapReduce是一个编程模式,它是与处理/产生海量数据集的实现相关。用户指定一个map函数,通过这个map函数处理key/value(键/值)对,并且产生一系列的中间key/value对,并且使用reduce函数来合并所有的具有相同key值的中间键值对中的值部分。MapReduce的主要贡献在于提供了一个简单强大的接口,通过这个接口,可以把大尺度的计算自动的并发和分布执行。

常见的应用例子:在很大的文档集合中通机每一个单词出现的次数.map函数检查每一个单词,并且对每一个单词增加1到其对应的计数器;reduce函数把特定单词的所有出现的次数进行合并。其他例子:

URL访问频率统计:map函数处理webpag请求和应答(URL,1)的log。Reduce函数把所有相同的URL的值合并,并且输出一个成对的(URL,总个数)。

逆向Web-Link,map函数输出所有包含指向target URL的source网页,用(target,source)这样的结构对输出。Reduce函数局和所有关联相同target URL的source列表,并且输出一个(target,list(source))这样的结构。

分布式排序:map函数从每条记录中抽取关键字,并且产生(key,record)对。reduce函数原样输出所有的关键字对。

BigTable:一种用于管理超大规模结构化数据的分布式存储系统,可以管理分布在数以千计服务器上的以PB计的数据。Bigtable API将包括用于创建、编辑表和列,改变群集、表、列元数据的函数。BT不支持完全的关系数据模型,而是为客户提供了简单的数据模型,让客户来动态控制数据的分布和格式。BT只能支持大部分SQL。

Google App Engine

Google App Engine是一个开发、托管网络应用程序的平台,使用Google管理的数据中心。它在2008年4月发布了第一个beta版本。Google App Engine使用了云计算技术,它跨越多个服务器和数据中心来虚拟化应用程序。当前,Google App Engine支持的编程语言是Python和Java. http://appengine.google.com

Hadoop
◆Hadoop(http://hadoop.apache.org)是apache下面的一个分布式并行计算框架,是从lunece中抽取出来的一个框架。Hadoop主要是由HDFS、MapReduce和Hbase组成。
◆HDFS是Google File System(GFS)的开源实现。
◆MapReduce是Google MapReduce的开源实现。
◆HBase是Google BigTable的开源实现

Google的上述分布式框架很有创造性,而且有极大的扩展性,使得Google在系统吞吐量上有很大的竞争力,但是用C++写的。因此Apache基金会用Java实现了一个开源版本hadoop,支持Fedora、Ubuntu等Linux平台。以上介绍Google云计算的基础架构。

时间: 2024-11-01 21:57:34

话说谷歌云计算的基本架构的相关文章

谷歌云计算平台安全性不及惠普云计算平台

据美国<连线>杂志5月7日报道,经过数年的发展,谷歌云计算平台已经逐渐成熟,甚至可能是目前最为先进的云计算系统.任何人都可以通过谷歌的云计算引擎运行自主软件,谷歌自己也非常看好该平台的发展前景.不过,随着数据隐私问题越来越受到重视,谷歌面向企业云服务的安全性似乎开始受到质疑. 几年前,谷歌先后推出GoogleComputeEngine和GoogleApp Engine试足云计算服务,试图挑战亚马逊在该领域的权威地位.基于谷歌全球云计算基础架构,外部企业和开发者可以建立网站和开发应用程序.谷歌副

当年被马化腾和李彦宏看不起,阿里云如今营收超谷歌云计算

欧界报道: 如今,IT时代正在转向DT时代,云计算已经成为全球公认的趋势.一些巨头公司如亚马逊.微软.阿里巴巴.谷歌,甚至是百度.腾讯,都开始将云计算视为公司未来发展的目标.而国内起步最早的阿里巴巴旗下的阿里云已经开始尝到了云计算的甜头.   今年4月份, 德意志银行发布研究报告指出,阿里云年度净收入预估高于谷歌云计算,成为全球仅次于微软Azure和亚马逊的AWS的第三大云计算.其中仅去年第四季度的营收就达到1.28亿美元.    今天,我们都看到了阿里云的成功,但它并不是偶然的,也不是靠运气捡

谷歌 支付-话说谷歌支付的服务器端验证怎么弄

问题描述 话说谷歌支付的服务器端验证怎么弄 话说谷歌支付的服务器端验证怎么弄是自己写算法 还是谷歌有提供验证url 解决方案 这个我半年前 弄过.我知道的方案有2种:1.用一个 算法 来校验 支付的回执 是否正确 ( 这个 比较简单 但是不太安全 . 我之前是 用php 写的 . 如果你需要 我就发你 QQ邮箱 提前你先 发邮件到 我 QQ邮箱 1900417004@qq.com)2.去 官方提供的url 进行验证 支付的回执是否正确.(这个 说起来要半天 我不想说 你自己以 [安卓付费代码 a

云计算网络基础架构的实践和演进——打造云计算网络基石

摘要:从传统IT部署到云,人肉运维已经是过去式,云上运维该怎么开展?人工智能对于运维"威胁论"也随之袭来,如何去做更智能的活,当下很多运维人在不断思考和探寻答案.在2017运维/DevOps在线技术峰会上,阿里云专家云登就为大家分享了云计算网络基础架构的实践和演进,精彩不容错过. 以下内容根据演讲视频以及PPT整理而成. 众所周知,云计算是以计算.存储和网络作为基础的.网络作为云计算的重要基石之一,其架构设计和演进是云计算发展的重要一环,而网络架构涉及可靠性.性能.可扩展性等多方面内容

浅析云计算的六种架构

云计算要求基础设施具有良好的弹性.扩展性.自动化.数据移动.多租户.空间效率和对虚拟化的支持.那么,云计算环境下的数据中心基础设施各部分的架构应该是什么样的呢? 1.云计算数据中心总体架构 云计算架构分为服务和管理两大部分.在服务方面,主要以提供用户基于云的各种服务为主,共包含3个层次:基础设施即服务IaaS.平台即服务PaaS.软件即服务SaaS.在管理方面,主要以云的管理层为主,它的功能是确保整个云计算中心能够安全.稳定地运行,并且能够被有效管理. 2.云计算机房架构 为满足云计算服务弹性的

云计算的六种架构浅析

云计算,应当高度贴合网络未来更高层次的发展趋势,着力于提高网络数据处理和存储能力,致力于低碳高效的利用基础资源.具体而言,应着重从高端服务器.高密度低成本服务器.海量存储设备和高性能计算设备等基础设施领域提高云计算数据中心的数据处理能力.云计算要求基础设施具有良好的弹性.扩展性.自动化.数据移动.多租户.空间效率和对虚拟化的支持.那么,云计算环境下的数据中心基础设施各部分的架构应该是什么样的呢? 云计算架构分为服务和管理两大部分.在服务方面,主要以提供用户基于云的各种服务为主,共包含3个层次:基

小议云计算对IT架构的影响

本文讲的是小议云计算对IT架构的影响,对于云计算的困惑,可能更多的还是围绕它对IT组织架构方面的影响.很多人都认为云计算仅仅是一种影响企业某些方面的技术进步.比如,有些CIO会认为通过虚机自助服务云计算能帮助开发者做更多工作.也有些人会认为云计算是一种能够降低成本的基础设施.而对于现在来说很多厂商都在涉足云计算,包括微软,IBM等巨头.那么云计算对IT架构究竟会有什么影响呢?首先,广大IT管理者需要关注以下几个问题,它们也是IT组织在面临云计算潮流时必须进行变革的地方. 从桎梏中解脱出来 如果你

“云计算”时代 存储架构如何变化

本文讲的是"云计算"时代 存储架构如何变化,[IT168 资讯]如何从存储架构层面,使企业的数据中心更适合云计算的环境?要解决这一问题,先要弄清楚什么是云计算,以及"云"对企业的存储有哪些需求. 据分析机构预测,到2012年,在云计算上投入的总体 IT 花费将增长至少3倍.你很可能听到过许多关于云计算的潜在优势.也许你的公司已经开始购买一些云服务,而不再是每当一个新的需求产生时将其加入到现有的 IT 基础架构中去. 现在,企业在寻找新的工作模式方面,面临着前所未有的

一种云计算安全模型与架构设计研究

一种云计算安全模型与架构设计研究 季一木,康家邦,潘俏羽,匡子卓 由于云计算存在安全性的问题,使得原本具备大规模.动态.开放和分布式计算环境等优势的云计算目前更多的是以小规模.静态的私有云的模式出现.为了解决云平台的安全问题,文章从用户维.数据维.业务维和环境维构造相应的云安全服务平台及相关服务出发,基于Eucalyptus 平台设计了一种轻量级的云计算多维安全平台架构.达到云平台安全.云服务安全和安全云服务,以满足在应用云计算提供服务的过程中所需的安全可信需求. 关键词:云计算:安全:多维:架