云关键技术及基于Hadoop的云计算模型研究

引言

云计算是由企业界开始发展,然后才进入学术界引起重视的,这与网格计算相反。经过对迄今为止的云计算相关学术论文进行统计分析后,显示学术界对于云 计算的研究主要集中在云技术关键技术方面。云计算研究的关键技术包括虚拟机、安全管理、数据管理、云监测、能耗管理和计算模型等。云计算的计算模型是研究 如何针对某类应用特点提出效率更高的编程方式,目前云计算模型众多,而Hadoop是一个开源的分布式系统基本架构,正日益成为具有较强实用性的开发平 台.淘宝就是国内率先使用Hadoop的公司之一。

1 云计算关键技术

1.1 虚拟机

虚拟机是云计算的关键技术之一。目前在云计算中使用的主要虚拟机之一就是VMware Infrastructure。它是一个虚拟数据中心操作系统,可以将离散的硬件资源统一起来以创建共享平台。其优点有:①整合服务器以降低IT成本;② 暗哨计划内和计划外停机以改进业务连续性;⑧运行较少的服务器并且动态关闭不使用的服务器。

1.2 安全管理

云计算是计算机资源的整合,通过云计算设施中的任何一台计算机,任何隐私信息都能够被找到。云计算安全问题已经成为急需解决的重要问题。其 中,Siani Persion等提出了在云计算服务设计过程中保护用户隐私的一些设计原则:① 发送尽量少的个人信息到云中,或者对系统进行分析后只对一小部分个人信息进行必要的收集和采集;② 采用安全措施防止未授权的访问、复制、使用或者修改个人信息来保护云中的个人信息:③最大限度地实现用户控制。在云计算环境中,让用户完全控制个人信息是 比较困难的。要加强对个人信息的控制:一可以允许用户控制最重要的个人信息;二可以委托信任的第三方来管理:④允许用户对个人信息的使用进行选择,即加 入、退出机制;⑤明确以及限制数据使用的目的。个人信息必须被身份明确的人使用和处理;⑥有反馈机制。即设计人及界面清楚地表明云服务中采取的安全措施, 用其向用户提供安全提示。

1.3 数据管理

云计算具有计算能力可变、数据储存在不信任的主机上、数据是远程复制等3个特点。从这3个特点分析而出,只有两种数据管理应用程序可能适合部署到云 计算中:一是和事务处理相关的数据管理系统:另一种是和分析相关的数据管理系统。前者未采用共享的体系结构,在进行远程数据复制时很难满足ACID的需 求,同时在不信任的主机上存储数据也有比较大的风险。ACID要求对于基于分析的数据管理系统来说不是必须的,同时可以保证敏感数据在分析之外,从而保证 其安全。因此,基于分析的数据管理系统应该很合适部署到云计算环境中去。

1.4 云监测和能耗管理

云监测是随着云计算的推广、云设施不断增加、为了更好地体现云计算的强大计算处理能力而设置的对虚拟机监控的能力:能耗管理是如何节省云设施中计算设施所需要的能源、有效整合资源、降低成本。

1.5 云计算的计算模型

现行的分布式计算系统可以提供强大的计算能力.但非专业用户并不能有效地利用,一个庞大的任务很可能由于初学者的偶然操作导致性能的大幅下降。为了 解决这些问题,应该提供给用户一个高度抽象的产品系统.这些就是云计算的计算模型。提到云计算模型,就不得不说一个开源框架,那就是Hadoop。

Hadoop是一个分布式系统基本架构。由Apache开发,使用户在不了解分布式底层细节的情况下,开发分布式程序。简单点说。Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

Hadoop实现了一个分布式文件系统(Hadoop DistributedFile System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据,适合那些有着超 大数据集的应用程序。HDFS放宽了POSIX标准的要求。这样可以流的形式访问文件系统中的数据。

Hadoop采用Master/Slave结构(如图1),会有一台Mas.ter,主要负责NameNode的工作以及JobTracker的工 作,Job.Tracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台Slave,每一台Slave通常具有DataNode 的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。

图1 Hadoop结构

(责任编辑:蒙遗善)

时间: 2024-10-26 17:05:26

云关键技术及基于Hadoop的云计算模型研究的相关文章

基于Hadoop的云计算模型研究及气象应用

基于Hadoop的云计算模型研究及气象应用 南京信息工程大学  张建 本文的主要工作如下: 首先对气象数据的特点进行分析,并指出将气象数据直接存储于Hadoop中存在的问题.根据气象数据的特点将设计基于Trie树变形的文件合并算法.在此基础上通过实验验证,数据高效率处理.安全等方面得到有效的提升和保障. 其次,设计并实现基于Hadoop的海量气象异构数据存储和计算框架,针对气象数据中实时提取有效数据的性能效率.数据保密安全.灾害备份等问题,利用HDFS存储气象数据以及利用MapReduce构建并

云队列:一个基于Hadoop的大规模消息基础平台

云队列:一个基于Hadoop的大规模消息基础平台 东华大学 史冬冬 本文基于从当前分布式系统消息通信的需求出发,并结合Hadoop云计算平台,提出了一个面向Internet规模的.高性能和高可靠的消息队列服务平台--云队列(Cloudqueue).通过云队列平台所提供的消息服务实现异步通讯.存储转发.可靠传输.跨互联网等特性,云队列可以在云计算时代为应用程序提供高性能.高可靠.大容量的面向互联网的消息传递服务. 文章从现实需求出发,在分析了消息中间件的相关基础知识和Hadoop关键技术的基础之上

基于Hadoop的云计算与存储平台研究与实现

随着互联网技术的发展,数宇信息正在成指数增加,根据Internet Data Cente:发布的Digital Universe报告显示,在未来8年中所产生的数据量将达到40 ZB,相当于每人产生5200 G的数据,如何高效地计算和存储这些海量数据成为互联网企业所要而对的挑战.传统的大规模数据处理大多采用并行计算.网格计算.分布式高性能计算等,耗费昂贵的存储与 计算资源,而且对于大规模数据计算任务的有效分配和数据合理分割都需要复杂的编程才可以实现.基于Hadoop分布式云平台的出现成为解决此类问

基于Hadoop的云计算试验平台搭建研究

基于Hadoop的云计算试验平台搭建研究 张岩 郭松 赵国海 Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架.它是一种可靠.高效.可伸缩的云平台,很适合在实验室环境下进行模拟测试.以Hadoop为基础,借助虚拟机VMware以及Linux.ubuntu.Hadoop.java-jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程.在设计实例中详细的论述了虚拟机.java.Hadoop等软件的安装.设置.测试过程.实现了在实验室环境

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究 华东师范大学 华夏渝 本文的研究依托于Hadoop Distribute File System分布式文件系统所构建的分布式存储平台,提出了一种基于粒子群调度分配算法的主从名字节点缓冲架构,旨在解决原有系统在面对具有频繁写入读出特性的一类用户应用程序时系统吞吐量剧烈降低这一问题. 关键词:分布式文件系统   HDFS  分布式缓存  粒子群  云计算   下载地址:http://bbs.chinacloud.cn/showtopic-

基于信任的云计算安全模型研究

基于信任的云计算安全模型研究 山东师范大学 张艳东 云安全始终是云服务商不能不面对的软肋,它与云计算的发展前景息息相关.可以说,脱离了安全保障,云计算的应用及推广无从谈起.虽然传统的安全解决方案在一定程度解决了云计算中的安全问题,但完全将此套方案移植到云平台绝对不可取.由于云计算的高虚拟化程度,部署的复杂性以及高度的可扩展性等新特点,都促使我们必须研究适用于云计算的安全机制.其中信任问题是云计算推广面临的最大障碍之一,也即云用户和云服务商是否能够相互信任.针对上述问题,本文提出了相应的解决方案,

[文档]基于P2P的云计算模型及其安全性分析

基于P2P的云计算模型及其安全性分析 沈静波  李金龙 文章通过将P2P技术和云计算相结合,提出了一种可靠的.可扩展的.低成本的文件共享模型PA-Cloud.该文介绍了PA-Cloud的文件下载和更新过程,并对系统的安全性进行了分析.通过对PA-Cloud进行对比实验表明,PA-Cloud可以有效提高系统的可扩展性,降低服务提供商的成本. 关键词: 对等网络 云计算 文件共享 可扩展性   temp_12060215109101.pdf

基于hadoop的hmm模型实现

问题描述 基于hadoop的hmm模型实现 哪位大神能帮我看一下,为什么我基于hadoop实现的hmm,输入总是报错?一开始报not a sequencefile ,然后我用mahout里面的seqdirectory把txt文件变成了sequencefile,接着又报java.lang.NullPointerException.我都要哭了,刚开始学hadoopimport java.io.IOException;import java.text.DecimalFormat; import org

基于HDFS的云计算安全技术研究与实现

基于HDFS的云计算安全技术研究与实现 广东工业大学  郭圣昌 本文创新点如下:(1)基于IBE算法原理,设计HDFS下DataNode对Client访问的身份认证安全机制,以弥补原有HDFS架构下Client访问DataNode未曾认证的缺陷,使得恶意或者仿冒用户无法在不经过主服务器NameNode的情况下窃取DataNode上的私人数据,保证了数据安全.同时,采用类IBE算法原理,摒弃了第三方可信机构,私钥由客户端Client自主产生,减少了因密钥生成.分发和存储带来的密钥管理复杂性,简化了