能否利用Hadoop搭建完整的云计算平台?

Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”。关于服务,展开来就是常用的那3种(也是事实上的标准):SaaS,PaaS,IaaS。对云计算来说,公有和私有,虚拟和存储,这其实是相对讨论的核心。

回头说Hadoop。在Google三大论文的直接刺激下,Hadoop社区兴起,而在众多的开源实现中,Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。

云计算中有哪些构件?发展到目前的技术与规模,并没有一个确切的定论,今天的说的话明天可能就不一样了。但对Hadoop来说,实现了的部分,就是大部分企业在不断发展中所遇到的大部分问题。直接上图:

从整体生态系统的角度,从底层存储,到中间的计算模型和框架,再到上层的逻辑处理和流、显示,都有相应开源的实现。这就是你说的构件了。

包括我们看到的Hadoop2.0中,引入的新的处理框架,Spark,Storm,YARN(取代MR),都是Hadoop生态系统的完善与实现。

Hadoop实现的是在简易硬件的基础上进行尽量高可用性海量计算与处理的中上层模型。Hadoop处理了存储(也只是一部分),虚拟化是没有涉及的,而底层硬件Hadoop也是不涉及的,不管是Hadoop还是其他的项目,只是在软件的层面想通过纵向或者横向的拓展解决所有的问题是不现实的。Hadoop在硬件这方面,只是在实现中预留或者接入硬件特性,也就是在虚拟化这方面Hadoop只是个“APP”,不是“始作俑者”(用词不当了)。

那么,完整的云计算平台呢?

按照企业级来说,是要看具体的企业方向和企业类型的,包括IBM和VMware都有提供不同的解决方案。大致上一定是由单点–>集群–>多层(准分布式)–>硬件–>分布式(地域分布)来解决的。具体到Hadoop体系的技术,直接去对应上图就好了。

从云计算这个概念出现到今天,资料可以说“浩如烟海”了,但很多资料只是互相复制黏贴,并没有说到云计算的核心。我想提出的一个观点是,完整的云计算平台,依赖的是业务,提供的是存储与支持。

没有业务需求而是照搬网上的资料或者自认为“活用”了某些技术,都可能只是“娱人娱己”。我们看一下互联网负载均衡技术是如何发展的就就更容易理解云计算:

客户端缓存–>CDN缓存–>Apache&Nginx静态页面缓存–>PHP和Java动态内存–>Memcache&Other Nosql–>Mysql&Oracle–>HDFS&Other Big Table

从技术的角度看,所有问题解决起来都是层次化的(大家肯定都有写Demo吧),都是根据不同的需求引入不同的技术,在单层单点乃至集群都无法解决问题的时候,新的计算框架,云计算与网格计算乃至动画需要的大规模渲染都在需要的时候顺理成章的引入。总之,完整的云计算平台,对于不同的公司业务都是不同的,拿腾讯来说,平台的组件多如牛毛,“平台”只是提供最基础的服务:存储与支持,其他的都需要业务根据自身的特点在其上进行构建(相信大公司都是有自己的完整方案的,这里我就不能再说了……),至于提高什么样级别的这种“服务”,就要看公司的业务规模,需要支撑的体系,乃至公司的决策战略了等等。

本文作者:佚名

来源:51CTO

时间: 2024-07-31 21:42:35

能否利用Hadoop搭建完整的云计算平台?的相关文章

搭建自己的云计算平台

如果你的服务器很多,或者你的钱多了烧,可以考虑搭建自己的云计算平台.下面是一些开源的云计算框架和工具 1. Enomalism (http://www.enomaly.com/) 云计算平台.Enomalism 是一个开放源代码项目,它提供了一个功能类似于 EC2 的云计算框架.Enomalism 基于 Linux,同时支持 Xen 和 Kernel Virtual Machine(KVM).Enomalism 提供了一个基于 TurboGears Web 应用程序框架和 Python 的软件栈

如何搭建最优云计算平台基础架构

首先,由于云计算平台往往会运行不只一个甚至不只一类应用,因此选择适用的设备是非常必要的.例如在运行基于互联网或者小型增值应用时,通常采用开放的x86服务器架构会具有较好的适用性,但是如果需要运行某些复杂应用,如数据库.在线联机处理应用时,对稳定性和安全性的要求往往较高,这种情况下采用Unix服务器是更适用的选择.遵循这一原则,将帮助云计算平台实现计算能力和计算资源的优化.从存储产品的角度来看,对于复杂的应用来说,选择基于光纤的SAN存储方式是一种很好的选择,但是对于相对比较独立.复杂程度不高的应

中电投云南国际:搭建起企业云计算平台

经过历时6个多月的规划与实施,近日,云南国际采用云计算IaaS(基础设施即服务)虚拟化技术顺利完成了公司本部及所属单位的服务器整合,使该公司的信息化建设一举迈入企业云时代. 自成立以来,云南国际一直致力于通过信息化促进管理标准化,努力提升管理水平,在成立后短短三年多的时间内,先后在业务应用.专业技术等领域建设实施了十多个信息系统,企业信息化管理水平不断提高.但随着信息化建设的深入推进,传统的信息化基础设施建设模式面临一系列问题,主要表现为新上线系统一般都要增加服务器.存储等设备,造成设备成本不断

[网文摘录]云计算平台管理

网络好文,摘自:http://www.programmer.com.cn/11477/  文 / 杨俊华 综合利用Nagios.Ganglia和Splunk搭建起的云计算平台监控体系,具备错误报警.性能调优.问题追踪和自动生成运维报表的功能.有了这套系统,就可轻松管理Hadoop/HBase云计算平台. 云计算早已不是停留在概念阶段了,各大公司都购买了大量的机器,开始正式的部署和运营.而动辄上百台的性能强劲的服务器,为运营管理带来了巨大的挑战. 如果没有方便的监控报警平台,对于管理员而言犹如噩梦

IBM携手中化 共创首个企业云计算平台

本文讲的是IBM携手中化 共创首个企业云计算平台,[IT168 专稿]7月22日,IBM宣布为全球财富500强企业中国中化集团公司(以下称中化)成功打造企业云计算平台,使其企业内部的IT基础设施以及各类软件应用运行地更加灵活,全面提升了中化在全球的业务运营效率,以充分满足其全球化快速发展的业务需求.IBM为中化打造的企业云计算平台,能够支持中化员工访问整合的资源共享池,并按需运行ERP系统和其他数据密集型应用. 中化是国务院国资委监管的国有重要骨干企业,业务主要集中在农业.能源.化工.金融和地产

【新浪】云计算平台推多项重磅服务

据悉,SAE是新浪云计算战略核心组成部分,于2009年8月在新浪研发中心启动内部开发,并于2009年11月3日正式推出第一个Alpha版本.此次架构调整后,当前的SAE官网仍将作为应用开发托管服务网站面向广大用户.届时,四大官网将根据用户的不同需求,提供相应专业并全面的服务. 新浪副总裁彭少彬指出,经过两年来的积淀和发展,SAE已经对新浪的诸多内部业务提供了平台服务,尤其是对新浪微博的大部分应用提供了很好的支持.新浪微博目前已经提供了开放API,供第三方开发者基于微博开发各种应用.微博应用开发者

20万亿次公共云计算平台顺利通过专家鉴定

2010年1月13日,北京市科学技术研究院主持召开了北京云公共计算平台一期建设工程专家鉴定会,北京市计算中心建成的20万亿次公共云计算平台得到与会专家一致认可,顺利通过鉴定. 北京市计算中心建成的20万亿次云计算公共平台近日正式过专家鉴定.而计算中心将继续扩建100万亿次的二期工程,预计年度完成.以中国工程院院士.我国计算机仿真与计算机集成制造专家李伯虎为组长的专家组于13日对此项建设进行专家鉴定.之后专家组成员一致认可,云计算中心通过鉴定. 据了解,这次搭建完成的云计算平台主要提供虚拟化服务和

新浪云计算平台推多项重磅服务

新浪科技讯 11月2日下午消息,作为国内首个公有云计算平台,SinaAppEngine(新浪云平台,简称"SAE"),即将迎来公众服务2周年纪念日.为进一步提升服务质量,SAE宣布对官网结构进行重大改进和调整,并推出Python语言支持.开发者认证等多项重磅服务. 据悉,SAE是新浪云计算战略核心组成部分,于2009年8月在新浪研发中心启动内部开发,并于2009年11月3日正式推出第一个Alpha版本(http://sae.sina.com.cn).此次架构调整后,当前的SAE官网仍将

IT企业利用云计算平台Hadoop的10种方式

如果你是世界上广大Hadoop用户的一员,你肯定知道Google曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就.现在的Hadoop不仅是当年的老二Yahoo的专用产品了,从Hadoop长长的用户名单中,可以看到Facebook, 可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP- 国内的公司有淘宝.百度等等.而今天我们要探讨的是,Hadoop 作为基础云计算平台,除了广