一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。

下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。 

快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。 

更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。 

低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。 

没有存储管理开销:Google Cloud Storage只需要为计算付费。 

互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。 

性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。

测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种:

3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。

但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。

6. 回顾2013:HBase的提升与挑战
回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化

2. Mean Time To Recovery/MTTR优化 

3. Bucket Cache (L2 cache on HBase)

4. Java GC改进 

5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)

6. PrefixTreeCompression 

7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。

来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

接下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。

9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。

时间: 2024-07-31 00:03:49

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS的相关文章

Google 打造云中 Hadoop 便捷版 强势对抗 AWS

Google Compute Engine 的虚拟机提供了一种快速.可靠的方式来运行 Apache Hadoop.如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform 上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统. 下图是Hadoop在Google Cloud Platform上的图解.在Google Cloud Storage上存储数据时HDFS.NameNode是可

Google打造云中Hadoop便捷版 强势对抗AWS

Google Compute Engine 的虚拟机提供了一种快速.可靠的方式来运行 http://www.aliyun.com/zixun/aggregation/14417.html">Apache Hadoop.如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统. 下图是Hadoop在Google Cloud P

Google打造云中Hadoop便捷版,强势对抗AWS

Google Compute Engine 的虚拟机提供了一种快速.可靠的方式来运行 http://www.aliyun.com/zixun/aggregation/14417.html">Apache Hadoop.如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统. 下图是Hadoop在Google Cloud P

周云杰:利用阿里大数据来转型

昨日,阿里巴巴集团与海尔集团达成投资协议,出资22.13亿元与海尔成立物流合资公司,致力于打造开放给全社会大件物流的松装一体化体系.而此项合作背后更深的意义在于,海尔希望借助阿里在数据.信息上的优势,通过物流实现大数据的储备,以加快自己在互联网化上的转型步伐.海尔集团轮值总裁周云杰在接受采访时表示,张瑞敏卖的不是产品,而是买用户资源,日日顺的定位并不是一个简单"送货的",而希望通过物流获取到附加值:用户数据.海尔和阿里的联手,是希望利用阿里在数据.信息上的优势,在提供一体化送装服务的过

超炫酷!看阿里云渲染如何打造"小门神"

本文讲的是超炫酷!看阿里云渲染如何打造"小门神"[IT168 评论]12月29日,由阿里影业参与投资的国产3D动画电影<小门神>在全国拉开点映大幕.点映结束后,<小门神>口碑在各大社交网络迅速发酵,而"国产动画电影为什么能做得这么高端"则成了不少观众讨论的焦点. 阿里影业项目总监金肇南表示,<小门神>是阿里影业的第一部动画电影,也可以说是一部技术电影."从没想过能在国产动画电影里看到这么美的场面"在他看来,这些

来者:提供企业分发云服务,打造专属小程序+人力资源SaaS平台

随着"互联网+"在各领域内生根发芽,人力资源领域也迎来了新的变革,云技术.云服务正使得人力资源机构更加流程化.标准化. 其实目前市场上做人力资源的SaaS平台有很多,切入点也各有不同,有从薪资切入的"薪朋"."薪人薪事",从社保切入的"金柚网"."51社保",这类产品都在寻找单个的切入点完成全面布局.当然也不乏一站式的人力资源管理平台,如大象人事等. 无论从哪个角度切入,在"来者"创始人

谷歌两周内推Google+品牌页面

谷歌社交广告首席产品经理克里斯蒂安·奥埃斯里恩(Christian Oestlien) 新浪科技讯 北京时间7月8日上午消息,谷歌社交广告首席产品经理克里斯蒂安·奥埃斯里恩(Christian Oestlien)周四在接受<广告时代>杂志采访时表示,谷歌将于两周内推出Google+品牌页面. 在谷歌推出Google+社交服务后,很多企业都自行设立了品牌页面,最著名的是福特汽车.为了满足这种需求,谷歌已经创建了一个申请页面,允许企业参与官方品牌页面的测试.业内人士认为,谷歌的这项服务将与Face

中化集团牵手阿里云拥抱互联网+ 打造领先的化工行业B2B垂直电商

中化集团牵手阿里云拥抱互联网+  打造"化工天猫"   5月17日,中国中化集团公司(以下简称"中化集团")宣布:旗下首个化工品B2B一站式垂直电商平台--"壹化网"(1chemic.com)正式上线运营.这一采用企业级互联网架构.构建在公共云上的平台代表着中化集团与阿里云的合作结出硕果.   "壹化网"创新地引入了阿里巴巴经过1688.淘宝.天猫等电商系统十年磨练的企业级互联网架构,用不到100天的时间完成了平台搭建.经过4

海尔电器行政总裁易人周云杰出任CEO

周云杰新京报讯 (记者林其玲)昨日,海尔集团旗下在港上市的海尔电器发布2012年财报,并宣布委任海尔电器原总经理周云杰为行政总裁即首席执行官,原海尔电器行政总裁杨绵绵出任董事会主席,同时兼履行行政总裁职能.家电行业观察家梁振鹏评论称,这也是海尔在接班人问题上迈出的一大步.去年5月,长达10年的格力"朱董配"时代结束,67岁的朱江红已将权杖交给58岁的董明珠.9月,70岁的美的集团创始人何享健退休,45岁的方洪波接任.作为中国家电企业的领军者,海尔集团在接班人问题上却始终没有答案,64岁