Google的云计算平台应用实例

  Google公司有一套专属的云计算平台,这个平台先是为Google最重要的搜索应用提供服务,现在已经扩展到其他应用程序。Google的云计算基础架构模式包括4个相互独立又紧密结合在一起的系统:Google File Systemt分布式文件系统,针对Google应用程序的特点提出的MapReduce编程模式,分布式的锁机制Chubby以及Google开发的模型简化的大规模分布式数据库BigTable。

  Google File System文件系统(GFS):除了性能,可伸缩性、可靠性以及可用性以外,GFS设计还受到Google应用负载和技术环境的影响。体现在4个方面:1)充分考虑到大量节点的失效问题,需要通过软件将容错以及自动恢复功能集成在系统中;2)构造特殊的文件系统参数,文件通常大小以G字节计,并包含大量小文件;3)充分考虑应用的特性,增加文件追加操作,优化顺序读写速度;4)文件系统的某些具体操作不再透明,需要应用程序的协助完成。

  MapReduce分布式编程环境:Google构造MapReduce编程规范来简化分布式系统的编程。应用程序编写人员只需将精力放在应用程序本身,而关于集群的处理问题,包括可靠性和可扩展性,则交由平台来处理。MapReduce通过“Map(映射)”和“Reduce(化简)”这样两个简单的概念来构成运算基本单元,用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据。为了进一步理解MapReduce的编程方式,下面给出一个基于MapReduce编程方式的程序伪代码。程序功能是统计文本中所有单词出现的次数。

  分布式的大规模数据库管理系统BigTable:由于一部分Google应用程序需要处理大量的格式化以及半格式化数据,Google构建了弱一致性要求的大规模数据库系统BigTablet。BigTable的应用包括Search History,Maps,Orkut,RSS阅读器等。

  BigTable是客户端和服务器端的联合设计,使得性能能够最大程度地符合应用的需求。BigTable系统依赖于集群系统的底层结构。一个是分布式的集群任务调度器,一个是前述的Google文件系统,还有一个分布式的锁服务Chubby。

  Chubby是一个非常鲁棒的粗粒度锁,BigTable使用Chubby来保存根数据表格的指针,即用户可以首先从Chubby锁服务器中获得根表的位置,进而对数据进行访问。BigTable使用一台服务器作为主服务器,用来保存和操作元数据。主服务器除了管理元数据之外,还负责对tablet服务器(即一般意义上的数据服务器)进行远程管理与负载调配。客户端通过编程接口与主服务器进行元数据通信,与tablet服务器进行数据通信。

  以上是Google内部云计算基础平台的4个主要部分。Google还构建其他云计算组件,包括一个领域描述语言以及分布式锁服务机制等。

时间: 2024-08-25 10:43:30

Google的云计算平台应用实例的相关文章

云计算实例分析:Google的云计算平台

Google的云计算技术实际上是针对Google特定的网络应用程序而定制的.针对内部网络数据规模超大的特点,Google提出了一整套基于分布式并行集群方式的基础架构,利用软件的能力来处理集群中经常 发生的节点失效问题. 从2003年开始,Google连续几年在计算机系统研究领域的最顶级会议与杂志上发表论文,揭示其内部的分布式数据处理方法,向外界展示其使用的云计算核心技术.从其近几年发表的论文来看,Google使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统.包括Google建立在集

Google的云计算平台Compute Engine

Google云平台官方博客宣布云计算平台Compute Engine正式发布,移除了beta预览状态.在预览阶段,Compute Engine主要支持两大流行Linux发行版:Debian和CentOS. 正式版扩大了操作系统支持范围,将支持所有开箱即用的Linux发行版,任何用户想使用的内核或软件如Docker.FOG.xfs和aufs,加入了SUSE和Red Hat Enterprise Linux的初步支持,支持FreeBSD. 查看本栏目更多精彩内容:http://www.biancen

IBM“蓝云"云计算平台应用实例

IBM的"蓝云"计算平台是一套软.硬件平台,将Internet上使用的技术扩展到企业平台上,使得数据中心使用类似于互联网的计算环境."蓝云"大量使用了IBM先进的大规模计算技术,结合了IBM自身的软.硬件系统以及服务技术,支持开放标准与开放源代码软件."蓝云"基于IBM Almaden研究中心的云基础架构,采用了Xen和PowerVM虚拟化软件,Linux操作系统映像以及Hadoop软件(Google File System以及MapReduce

解读Google Apps和Google Docs云计算平台

谷歌(Google的曾用中文名)宣称的"离开中国风波"已历经4个多月了,正式"体面而狡猾"退守到香港,也已经1个多月,角力各方仍然能没有任何试图和解的动作,相关的热议短评也在各大政 治圈子.http://www.aliyun.com/zixun/aggregation/13145.html">网络媒体.人权杂志和个人微博中逐渐失去了新闻点,慢慢冷却下来. 作为一个关注互联网,关注搜索引擎,从事相关行业的人来说,我对于Google本次事件一开始也是很激

将 Google 的云计算功能连接到 Apple 的 iPhone 中

简介 过去几年出现了很多创新技术,2008 年对技术而言是不同凡响的一年.两项最让人兴奋的创新是云计算和移动应用程序开发.在本文中,我们将探究一种通信方法,这种方法能利用这两个技术来实现协作开发人员的梦想.在本文中,我们将使用 Google App Engine(Google 的云计算平台)和 iPhone(Apple 的移动平台)来开发一个能同步 "云" 数据的应用程序. 我们将利用一种简单的方法来从 App Engine 拉出数据放到 iPhone 上; 这种方法需要大量使用 py

Google 的云计算用了更多人工智能,都是为了卖服务

在今天北京时间凌晨开始的 Cloud Next 大会上,Google 一口气推出了多个云计算的新产品.现在,Google 的云计算平台在翻译.语音.图片和视频识别等多个服务上都用上了人工智能,这些都是为了更好地卖云服务,跟亚马逊和微软抢客户. 例如 Google 新出的 Video Intelligence API 接口.Google 将物体识别能力放在了视频上,可以在一段视频中自动识别出物体,并提供关键字搜索功能,比如使用这个数据接口可以搜索出所有包含"老虎"的视频片段. 将人工智能

基于Google云计算平台的文件共享系统设计与实现

基于Google云计算平台的文件共享系统设计与实现 林清滢 冯健文 陆锡聪 文件的存储.管理以及随时读取是众多现代企业的基本要求.分析了 Google App Engine开发技术:提出了基于Google 云计算平台的文件共享系统的设计方案:通过对Google App Engine开发环境的部署,实现了文件共享系统. 基于Google云计算平台的文件共享系统设计与实现

开源的云计算平台的代表作

Abiquo公司主要的工作是帮助用户建立.管理以及扩展复杂的计算架构.具体的开源云计算产品有以下三类,分别是abiCloud, abiNtense和abiData.这三类产品从功能上来说都可以当做架构和开发公有私有混合云以及云应用的基础设施. abiCloud是一种开源云管理软件,可以用来对资源进行创建和管理,并可以按需扩展. abiNtense是一种和Grid类似的架构,能够有效减短大量高性能计算的执行时间. abiData是由Hadoop,hBase,Pig开发而来的一个信息管理系统,可以用

推荐几个开源云计算平台

[IT168 资讯]Abiquo云计算平台 本文讲的是推荐几个开源云计算平台,Abiquo公司帮助用户建立,管理以及扩展复杂的计算架构.具体开源云计算产品有三类,三种产品分别是abiCloud, abiNtense和abiData.这三种产品都可以用来架构和开发公有私有混合云,以及云应用等的基础设施. abiCloud是开源云管理软件,可以创建管理资源并且可以按需扩展. abiNtense是一个类似于Grid的架构,用来减少大量高性能计算的执行时间. abiData 由Hadoop,hBase,