基于嵌入式多处理器的轻量级MapReduce模型研究
随着近年来云计算的快速发展以及多核处理器核心数的快速增长,并行开发技术的应用也越来越普遍。各种并行开发技术如MPI、OpenMP等已经非常成熟的应用于各个领域,并且在Google的MapReduce编程模型的带动下出现了很多基于MapReduce模型的开发框架,如Phoenix、Metis、Hadoop等,但是Phoenix和Metis是基于共享内存架构实现的,不能用于分布式集群,而Hadoop集群部署在嵌入式环境下的执行效率不高。因此目前还没有成熟的基于嵌入式平台的分布式计算框架,虽然MPI+OpenMP方法是一个比较常用的方法,但是节点内使用OpenMP来对并行进行控制增加了编程难度,并造成开发和维护上的开销。
为了研究Hadoop在嵌入式处理器平台上的应用缺陷,本文首先构建了基于嵌入式多处理器的云计算平台,在其上实现了并行图像处理方法,进行了效率分析,进而发现了目前Hadoop应用于嵌入式环境中的不足。然后对多核平台下的MapReduce开发框架Phoenix和Metis进行了研究,并基于Tilera36众核平台对其进行性能评测,以此来发现这两个框架的优点和不足。
最后在上面所述的研究的基础上,重新设计了一个轻量级的面向嵌入式环境的分布式计算框架MPI+Phoenix,该框架在设计中主要考虑了嵌入式处理器节点之间的异构性,以及如何充分利用节点内部的处理器核心来最大化系统运行效率。最后针对该框架进行了图像并行处理的应用和测试,并对其进行Phoenix标准集测试,从而对该框架的各方面性能进行评估,通过测试表明本论文所提出的框架能够提高数据处理的并行性,同时提升程序的执行效率。
基于嵌入式多处理器的轻量级MapReduce模型研究