《并行计算的编程模型》一3.5　远程内存访问：put和get

前 言 对于正在编程的程序员,编程模型可被看作一台虚拟机,并可通过编程语言和函数库实现.如果某个编程模型成为计算机科学研究中的热点,需要具有以下特性:高效性(易于描述各种抽象算法).移植性(兼容各种硬件计算平台).高性能(高效均衡地利用硬件平台的计算能力).通用性(广泛地描述各种算法).针对特定的编程模型,同时具有上述四种特性中的一种或两种相对容易,但同时具备这四种特性几乎是不可能的.特定的编程模型无法同时具备四种特性的主要原因在于编程模型的多样性,因此需要根据具体的科学应用,选择不同的编程模型

1.7 单边通信 在点对点通信和聚合通信方式中,发送进程和接收进程共同参与通信过程.MPI提供另外一种通信方式,即单边通信方式.在单边通信方式中,单个进程便可指定发送和接收的数据.单边通信主要用于ARMCI/GA(见第5章).UPC(见第4章)和OpenSHMEM(见第3章)等函数库中,单边通信也可称之为远程内存访问(RMA). 单边通信模型主要分为三部分.第一部分是创建MPI_Win窗口对象,用于可被其他进程访问的内存区域.第二部分是进程间数据移动方式,包含从远程进程上读.写.更新等数据移动方

2.4 扩展API 扩展API为远程内存访问(Put和Get)提供了语义丰富的接口,旨在简化自动代码生成,尤其是由分区全局地址空间(PGAS)语言的源到源翻译.此时的GASNet只为连续区域的Put和Get提供标准化的RMA接口,但是关于提及的"向量索引约束"请查阅2.7节. 2.4.1 GASNet段 正如前文所述,扩展API只能访问内存中在gasnet_attach附加时间建立的名为GASNet段的远程地址.两个原始的GASNet客户端,UPC与Titanium的实现,在远程访问的

2.2.3 API组织 GASNet的接口分为两组:核心API和扩展API.其中后者主要包括远程内存访问的接口,而其他所有内容都包含在前者中.核心API包含了并行运行时上的大多数基本需求接口,如初始化与完成运行时.查询并行实体数(本例中指的是GASNet节点)与调用实体的标识(GASNet的节点数).除了GASNet规范手册中记录的核心和扩展API外,GASNet还有一些辅助编写和调试便携式GASNet客户端的其他特性.

3.3 OpenSHMEM存储模型 OpenSHMEM是单程序.多数据(single program multiple data,SPMD)编程模型,特点是强调单边通信以及数据移动与同步解藕,是提供高性能.高可扩展性通信和同步程序的库.OpenSHMEM程序由松散同步的进程组成,这些进程也叫作处理单元(Processing Element,PE).所有PE同时开始并执行相同的程序,通常在各自集合问题的子域上执行操作,并周期性地与其他PE通信. OpenSHMEM内存模型是PGAS,类似于其他PG

3.2 设计理念和根据 SHMEM和OpenSHMEM的构思和发展都假设它们和底层硬件系统体系结构有密不可分的关系.由克雷研究公司开发和出售的克雷T3D和T3E计算机系统在其网络架构中包含几个高级的硬件加速特征,是与SHMEM合作设计的,用以最大化可用的带宽及最小化系统的3D Torus网络延迟[85].克雷公司,即原来克雷研究公司的现代同名,在其最新的Gemini网络架构[86,90]中也延续了相同的设计理念.当1996年SGI收购了克雷研究公司,也同时获得了SHMEM的知识产权,SGI设计了

3.5.1 RMA函数语义 OpenSHMEM编程模型为提高可扩展性将数据传输和同步解藕,解藕的语义比较容易理解.调用RMA函数(put或get)的PE被称为传输的"主动端",另一个PE(很可能不知道该传输)被称为"被动端".OpenSHMEM仅有的隐式一致性确保put和get操作在主动端发生,被动端如果需要的话也可以通过给程序增加同步来执行一致性.主动端完成准则:当单个RMA调用(put或get)在主动端返回时,程序可以认为主动端的内存状态与该操作的完成一致.被动

MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型.它实现了两个功能:Map把一个函数应用于集合中的所有成员,然后返回一个基于这个处理的结果集.而Reduce是把从两个或更多个Map中,通过多个线程,进程或者独立系统并行执行处理的结果集进行分类和归纳.Map() 和 Reduce() 两个函数可能会并行运行,即使不是在同一的系统的同一时刻. 微软于2010年12月21日发布了分布式并行计算基础平台--Dryad测试版,成为谷歌MapReduce分布式

第1章 Programming Models for Parallel Computing 消息传递接口 William D. Gropp,伊利诺伊大学厄巴纳–香槟分校 Rajeev Thakur,阿贡国家实验室 1.1 引言 在使用分布式内存编程模型的并行程序中,MPI是一个标准和可移植的通信接口.MPI既为并行通信提供丰富的函数接口,也为并行文件I/O访问等提供函数接口.同时,MPI也支持多程序多数据(MPMD)编程模型.MPI是一种基于库的系统,而非编译器或者编程语言.MPI库函数通过C和