基于嵌入式多处理器的轻量级MapReduce模型研究

基于嵌入式多处理器的轻量级MapReduce模型研究

随着近年来云计算的快速发展以及多核处理器核心数的快速增长,并行开发技术的应用也越来越普遍。各种并行开发技术如MPI、OpenMP等已经非常成熟的应用于各个领域,并且在Google的MapReduce编程模型的带动下出现了很多基于MapReduce模型的开发框架,如Phoenix、Metis、Hadoop等,但是Phoenix和Metis是基于共享内存架构实现的,不能用于分布式集群,而Hadoop集群部署在嵌入式环境下的执行效率不高。因此目前还没有成熟的基于嵌入式平台的分布式计算框架,虽然MPI+OpenMP方法是一个比较常用的方法,但是节点内使用OpenMP来对并行进行控制增加了编程难度,并造成开发和维护上的开销。

为了研究Hadoop在嵌入式处理器平台上的应用缺陷,本文首先构建了基于嵌入式多处理器的云计算平台,在其上实现了并行图像处理方法,进行了效率分析,进而发现了目前Hadoop应用于嵌入式环境中的不足。然后对多核平台下的MapReduce开发框架Phoenix和Metis进行了研究,并基于Tilera36众核平台对其进行性能评测,以此来发现这两个框架的优点和不足。

最后在上面所述的研究的基础上,重新设计了一个轻量级的面向嵌入式环境的分布式计算框架MPI+Phoenix,该框架在设计中主要考虑了嵌入式处理器节点之间的异构性,以及如何充分利用节点内部的处理器核心来最大化系统运行效率。最后针对该框架进行了图像并行处理的应用和测试,并对其进行Phoenix标准集测试,从而对该框架的各方面性能进行评估,通过测试表明本论文所提出的框架能够提高数据处理的并行性,同时提升程序的执行效率。

基于嵌入式多处理器的轻量级MapReduce模型研究

时间: 2024-10-26 04:43:42

基于嵌入式多处理器的轻量级MapReduce模型研究的相关文章

基于云计算的网络安全态势感知模型研究

基于云计算的网络安全态势感知模型研究 郭方方 唐匀龙 修龙亭 王慧强 网络安全态势感知技术作为一种综合性的安全信息获取与处理技术,在网络安全防护领域具有极其重要的地位.但是,传统的网络安全态势感知存在着准确度较低.单点失效等方面的缺陷.云计算技术可以有效地解决节点处理能力不足的问题.文章以能处理多种网络数据源为出发点,提出了一种基于云计算的四层网络安全态势模型,解决了网络态势信息生成准确性的问题.同时,对节点的可信性进行了研究,使云模型具有一定的安全特性. 基于云计算的网络安全态势感知模型研究

基于MapReduce模型的排序算法优化研究

基于MapReduce模型的排序算法优化研究 金菁 MapReduce已经发展成为大数据领域标准的并行计算模型.理想情况下,一个MapReduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率.CPU和I/O的使用时长以及网络传输开销.传统的算法往往只针对上述指标中的一种进行优化.在保持算法良好并行性基础上,对多个指标同时进行优化,提出了MapReduce优化算法的设计规范.针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最后算法,并证明了该优化算法满足MapR

基于MapReduce模型的生物量遥感并行反演方法研究

基于MapReduce模型的生物量遥感并行反演方法研究 付天新,刘正军,闫浩文 MapReduce 模型是一种基于云计算平台下新型的并行编程模型.文中MapReduce 并行编程模型应用到遥感影像并行化处理中,以2005-2009 年5a生长季期( 5-10 月) MODIS13Q1 数据产品为数据源,对青海省三江源地区的生物量( 草地总生物量和可食草量) 进行并行化反演,研究基于该模型的生物量遥感并行反演方法.实验分析结果表明: 基于该模型的并行生物量遥感反演结果与经过精度验证的串行反演结果一

基于Hadoop的云计算模型研究及气象应用

基于Hadoop的云计算模型研究及气象应用 南京信息工程大学  张建 本文的主要工作如下: 首先对气象数据的特点进行分析,并指出将气象数据直接存储于Hadoop中存在的问题.根据气象数据的特点将设计基于Trie树变形的文件合并算法.在此基础上通过实验验证,数据高效率处理.安全等方面得到有效的提升和保障. 其次,设计并实现基于Hadoop的海量气象异构数据存储和计算框架,针对气象数据中实时提取有效数据的性能效率.数据保密安全.灾害备份等问题,利用HDFS存储气象数据以及利用MapReduce构建并

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究 华东师范大学 华夏渝 本文的研究依托于Hadoop Distribute File System分布式文件系统所构建的分布式存储平台,提出了一种基于粒子群调度分配算法的主从名字节点缓冲架构,旨在解决原有系统在面对具有频繁写入读出特性的一类用户应用程序时系统吞吐量剧烈降低这一问题. 关键词:分布式文件系统   HDFS  分布式缓存  粒子群  云计算   下载地址:http://bbs.chinacloud.cn/showtopic-

基于大数据挖掘的科技项目查重模型研究

基于大数据挖掘的科技项目查重模型研究 李善青 赵辉 宋立荣 科技项目查重是避免重复立项.重复建设的重要措施之一,目前缺乏行之有效的方法.文章提出基于大数据挖掘和多源信息整合的项目查重方法,以科技项目的基本信息.发表论文信息.关键词.负责人信息和承担机构等要素构建的大数据网络为研究对象,利用多源信息整合方法构建科技项目的相似度判别模型,并采用Hadoop框架实现海量数据的快速挖掘.文章介绍项目查重模型,重点讨论需要解决的关键问题,为解决项目查重问题提供一种全新的思路和方法. 基于大数据挖掘的科技项

基于MapReduce模型的间歇性能源海量数据处理技术

基于MapReduce模型的间歇性能源海量数据处理技术 梅华威 米增强 吴广磊 针对传统间歇性能源海量数据处理技术的局限性,提出了基于MapReduce模型的间歇性能源海量数据处理技术,利用廉价的商用计算机组成集群,对海量数据进行并行处理,确保了海量数据处理的可靠性.低成本.高效能和扩展性,并对该技术的平台实现进行了论述.最后通过实验对比不同数据平台下海量数据处理的效率,验证了基于MapReduce模型的间歇性能源海量数据处理技术的高效性. 基于MapReduce模型的间歇性能源海量数据处理技术

基于MapReduce模型的电力数据并行化的异常检测

基于MapReduce模型的电力数据并行化的异常检测 许元斌 钟小强 王丹 李春生 提出了基于MapReduce计算模型的电力数据异常检测的并行化设计,实现了多个计算节点对海量的电力数据进行并行化的异常发现,从而快速发现存在异常的采集点. 基于MapReduce模型的电力数据并行化的异常检测

基于云计算的信息服务通用模型研究

基于云计算的信息服务通用模型研究 王峰 王伟 概括了云计算技术的普遍特征,分析了云计算技术在信息服务业的典型应用案例及其局限性,继而针对性得提出了一种基于云计算的信息服务通用模型,并通过量化分析论证了该模型的可行性. 关键词: 云计算 信息服务 通用模型 基于云计算的信息服务通用模型研究