Google打造云中Hadoop便捷版,强势对抗AWS

  Google Compute Engine 的虚拟机提供了一种快速、可靠的方式来运行 ">Apache Hadoop。如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统。

  下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。

  在十年前,从Google第一次介绍了Google File System (GFS)——Hadoop Distributed File System(HDFS)的基础——Google一直在努力改善Google大数据处理的存储系统。最新的成果是Colossus。

  今天的发行版本提供了准确的——使用了一个简单的连接器库,Hadoop现在可以直接地在Google Cloud Storage运行——一个对象存储创建在Colossus上。这意味着你在大数据处理时可以从Google的这项技术中获益。

  下面是用Google Cloud Storage运行Hadoop的优势:

  兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。只要将URL指向你的数据就可以。

  快速启动:数据准备处理。当你的数据复制到HDFS以及NameNode,你不必等待过长时间来结束这个安全模式。同时,你也不需要花费数据复制VM时间。

  更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性,因为它有独立的Compute Nodes和NameNode。如果虚拟机拒绝(或云禁止、崩溃)你的数据还在。

  低成本:包括存储和计算:存储,因为没有必要维护两份数据,一个用于备份,另一个用于运行Hadoop;计算,因为你不需要仅仅为服务数据而保持VM一直运行。同时,它是以分钟计费,你可以在多个内核上更快的运行Hadoop,并且你的成本不再是四舍五入为一个小时来计算。

  没有存储管理开销:鉴于HDFS需要日常维护——比如文件系统校验、重整、升级、反转和NameNode重启——Google Cloud Storage只需要为计算付费。你的数据是安全和一致的,不需要更多的努力。

  互通性:通过在Google Cloud Storage保管你的数据,你可以从Google上其它已经完美融合的服务中获益。

  性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能——因为它没有管理和维护开销。

  如果想了解Google Cloud Platform到底有哪些优势,可以访问这个简单指导 。 Google很乐意听到你关于如何更好的在Google Cloud Platform运行Hadoop和MapReduce的反馈和想法。

时间: 2024-09-18 08:25:35

Google打造云中Hadoop便捷版,强势对抗AWS的相关文章

Google 打造云中 Hadoop 便捷版 强势对抗 AWS

Google Compute Engine 的虚拟机提供了一种快速.可靠的方式来运行 Apache Hadoop.如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform 上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统. 下图是Hadoop在Google Cloud Platform上的图解.在Google Cloud Storage上存储数据时HDFS.NameNode是可

Google打造云中Hadoop便捷版 强势对抗AWS

Google Compute Engine 的虚拟机提供了一种快速.可靠的方式来运行 http://www.aliyun.com/zixun/aggregation/14417.html">Apache Hadoop.如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统. 下图是Hadoop在Google Cloud P

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

1. Google打造云中Hadoop便捷版,强势对抗AWS 上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统.在此领域,Google和AWS的竞争将更加激烈. 下图是Hadoop在Google Cloud Platform上的图解.在Google Cloud St

《Hadoop集群与安全》一1.2 Hadoop发行版

1.2 Hadoop发行版 Hadoop包含了众多不同的版本.多家公司公布了各自的发行版本并且版本号也各不相同.在该领域中有不少佼佼者,我们会在之后讨论他们所提供的产品. 1.2.1 Hadoop版本 Hadoop发布了一个版本控制系统,但是它却令人感到十分困惑.在可用的稳定版本中包含了诸多分支,我们有必要了解每个分支所提供(或者没有提供)的特性.到目前为止,Hadoop的可用版本有0.23.1.0和2.0.令人感到惊奇的是,高版本始终没有包含低版本的所有特性.举例来说,0.23版本包含了Nam

打造个性化免杀版防火墙、杀毒软件

前言: 众所周知,现在越来越多的病毒爱好者为了展示个人能力或一些不可告人的秘密而制作一系列的病毒程式:不过,由于国内大部分用户对网络安全有了更多的了解,都会在自己系统中安装使用防火墙或杀毒软件来保护自己的系统网络安全!因此,这类安全软件的存在成了这些病毒的"拌脚石".如何扫除这些"拌脚石"也就成了他们所追求的另一种境界:"让病毒程式在系统中如入无人之境"! 常见的病毒保护技术: 加壳压缩或加密(主要是采用网络中流行的加壳程序): 修改病毒程式中的

Hadoop发行版运维利器:vSphere Big Data Extensions

vSphere Big Data Extensions(BDE)提供了部署Hadoop多种厂商发行版的巨大灵活性,为客户提供三大价值: 为所支持的Hadoop版本提供调优的基础架构,VMware和Hadoop发行版厂商彼此认证 在统一虚拟化平台上部署.运行和管理异构的Hadoop集群,满足多租户的不同需求 不必被单一Hadoop发行版厂商所绑定,保护投资回报 管理Hadoop发行版 Apache Hadoop 1.2是开源社区的原生Hadoop,BDE已经包含Apache Hadoop的安装包,

大数据虚拟化实例:Tarball方式部署Hadoop发行版

在博文<灵活管理Hadoop各发行版的运维利器>中,我们介绍了vSphere Big Data Extensions(BDE)是解决企业部署和管理Hadoop发行版的利器,通过它可以很方便可靠地运维Hadoop多个主流的商业发行版(包括社区的Apache Hadoop).本文的内容围绕上述主题,以具体实例深入讲解如何做到灵活部署和管理Hadoop发行版的. 实例:Tarball方式部署GPHD1.2发行版 首先,需要下载GPHD 1.2发行版到本地.这里是Tarball的下载地址,完成后解压缩

Google刚发布了iOS 版 Gmail 4.0

摘要: Google 刚发布了 iOS 版 Gmail 4.0. 这次升级后,用户终于可以直接在 iOS 的通知中心.锁屏通知里对邮件进行简单的处理了:滑动新邮件,然后直接选择回复或归档.苹果去年发布的 iOS Google 刚发布了 iOS 版 Gmail 4.0. 这次升级后,用户终于可以直接在 iOS 的通知中心.锁屏通知里对邮件进行简单的处理了:滑动新邮件,然后直接选择"回复"或"归档".苹果去年发布的 iOS 8 开放了相关的接口功能,让邮件客户端们可以做

Google Knol 开始尝试有声版

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 Google Knol 自插足战火纷纭的在线百科全书战场以来,在前有 Wikipedia 与 Mahalo ,后有业界批评(Slate,Technologizer)的压力下,日子并不好过.但 Google 并没闲着,最近对 Knol 中的部分内容推出有声版. Google Knol 中的有声版文章目前还并不多,但计算机生成的声音质量相当不错,