多核时代:并行程序设计探讨(2)——并行实现技术

并行程序设计探讨(2)——并行实现技术

通过“并行程序设计探讨(1)”的介绍,相信大家都已经对并行系统相关的概念有了初步的了解。不过看起来挺吓人的,一堆的术语和概念,想起来头就有点大!!

幸运的是真正需要进行并行程序设计的系统其实不多,我们来看看:

SISD:本质上决定了不可能是并行的;

SIMD:专有系统,相信绝大部分人都没有接触过;

MISD:没有这样的系统;

MIMD:本质上就是为了支持并行的。

因此,在处理并行程序设计的时候,我们其实只要考虑MIMD这类系统就OK了!谢天谢地Orz!!:)

 

不过别高兴的太早,MIMD也有很多啊,怎么办呢?MIMD分为共享内存和消息驱动(其实就是分布式内存)两种,我们还是从分类上来稍加分析,看看如何处理。

共享内存:所有CPU共内存,所有CPU由一个操作系统控制的,例如Windows和Linux/UNIX,目前流行的多核、多CPU机器都是属于这种;

消息驱动:其实就是分布式内存,CPU由不同的操作系统控制,不同的CPU之间通过网络通信。例如网格Grid是通过因特网通信、集群Cluster是通过局域网通信、MPP是通过专有的高速网络通信。

通过上面的对比,聪明的读者估计很快就想到了这两种系统并行程序实现方式的差异:

共享内存:通过操作系统的多进程多线程来完成并行任务,通过进程间通信来完成协作;

消息驱动:通过多台机器来完成并行任务,通过消息来完成协作。(MPP物理上看是一台机器,逻辑上是多台机器)。

当然,由于消息驱动系统中每个处理单元都是一台独立的机器,对这台独立的机器本身当然也可以通过共享内存来实现并行处理。

 

嗯,非常不错,经过我们的层层分析和筛选,原来各种各样的看起来很吓人的并行系统,最终被我们归纳总结出两种并行实现技术:多进程多线程、多机协作

套用侯捷大师的一句话给自己贴点金,正所谓:深入浅出!!

==========================未完待续,后面介绍Window和Linux的多进程多线程===============================

时间: 2025-01-20 13:39:36

多核时代:并行程序设计探讨(2)——并行实现技术的相关文章

多核时代:并行程序设计探讨(1)——并行系统

  并行程序设计探讨(1)--并行系统 大家可能会有疑问:你一会儿并行,一会儿多核,到底是谁跟谁啊? 我开始也有这个疑问,甚至以为并行就是多核,其实两个并不能对等,一句话就是:多核是并行的一种. 并行本身是一个广泛的概念,其实早在多核之前并行处理就已经存在N久了,大家想想看:IBM.SUN.HP的小型机,哪个不是多CPU的?甚至连DELL的工作站,都是两CPU的,更不用说那些中型机.大型机.巨型机了.所以说"并行处理"是一个比"多核处理"要广泛.要早的多的技术,多核

多核时代:并行程序设计探讨(3)——Windows和Linux对决(多进程多线程)

并行程序设计探讨(3)--Windows和Linux对决(多进程多线程) 前面的博文经过分析总结,最后得出两种并行技术:多进程多线程.多机协作.对于多进程和多线程来说,最有代表性且最常见的的莫过于Windows和Linux(作为UNIX类操作系统的代表,下同)这两个操作系统了. 真是冤家路窄,Windows和Linux这对冤家在这里又碰面了!! 当然,我这里不是要挑起Windows和Linux谁优谁劣的争论,对于一个真正的技术人来说,Windows和Linux本身并没有优劣之分,只有在不同的使用

多核时代:并行程序设计探讨(6)——多机协作(又叫分布式处理)

                                  多机协作(又叫分布式处理) 嗯,费了九牛二虎之力,终于将Windows和Linux对比完了.你是否准备伸个懒腰,喝杯热咖啡,听点音乐来放松一下呢? 别急,革命尚未成功,同志还需努力,铁还得趁热打.还记得第二篇博文里面总结的两种并行实现技术没有?一个是"多进程多线程",另一个是"多机协作",到目前为止我们基本上只把"多进程多线程"分析完毕了,还有另外一个"多机协作&quo

多核时代:并行程序设计探讨(4)——Windows和Linux对决(进程间通信)

                             进程间通信 多进程和多线程本质上就是将原来一个进程或者线程处理的任务分给了多个进程或者线程,也可以说是将原来一个CPU处理的任务分给了多个CPU处理,类似于随着生产力的发展,原来一个人包打天下的个人英雄主义时代被分工合作的团队取代一样. 既然是一个团队,就必然涉及到分工合作问题,并行程序的设计本质上就是解决"分工"和"合作"的问题.其中"分工"主要是后面讲到"并行程序设计模式&q

多核时代:并行程序设计探讨(7)——并行编程模式概览

                                          并行编程模式概览 前面的5.6篇博文,都是和并行编程相关的基础知识,如果你一路看来,基本上也能够开始进行并行编程设计了,也可以和别人吹吹牛.聊聊天了. 但"欲穷千里目,更上一层楼",前面的毕竟都是基础知识,拿来直接设计,虽然能够完成任务,但就像在茫茫大海中航行,没有灯塔,难免会走很多弯路.甚至绝路! 所以我们要在这些基础知识之上,学习一套系统的分析问题.设计方案.应用实现的理论来指导我们作出正确的.优秀

多核时代:并行程序设计探讨(9)——数据分解模式Data Decomposition

                                                   Data Decomposition 1.1        问题 如何将待解决的问题的数据分解为能够并行运行的数据单元(units)? 1.2        上下文 并行算法的设计者必须首先详细了解待解决的问题,除此之外,还必须识别如下几个关键因素: 1)计算强相关的部分:待解决问题中的哪部分需要进行大量运算: 2)关键数据结构:主要是对什么数据进行运算:如何进行运算.   当基本问题理解后,设

多核时代:并行程序设计探讨(8)——任务分解模式Task Decomposition

                                                              Task Decomposition 从本章开始我们就正式来介绍每个模式了,参考设计模式的做法,每个模式我们都按照如下的内容进行介绍:问题(Problem).上下文(context).考虑因素(Forces).解决方法(Solutions).至于样例,就请各位看官直接看原文了.   1.1        问题 如何将待解决的问题分解为能够并行运行的"任务(task)&quo

多核时代:并行程序设计探讨(10)——任务分组模式Group Task Pattern

                                                    任务分组模式Group Task Pattern 1.1        问题 一个问题的多个任务如何聚集成一组,以简化依赖关系的管理? 1.2        上下文 当任务和数据分解完成后,就可以应用此模式了. 任务分组模式描述了分析任务之间的依赖关系的第一步.在任务分解的过程中,我们按照任务可以并行运行来考虑,然而我们并没有强调一个很明显的事实:这些任务并不是组成一个扁平(译者注:指任务之间

多核时代:并行程序设计探讨(5)——Windows和Linux对决(进程间同步)

Windows和Linux对决(线程间同步) 1.1        Windows线程同步 1.1.1   关键代码区Critical Section 所谓"关键代码区",相信大家看名字也能理解个大概了.首先:它很关键,第二:它是代码区.之所以关键,当然目的就是每次只能一个线程能够进入:既然是代码区,那就是只能在一组拥有同样代码的线程中用. 那什么情况下会用到关键代码区呢?当然是要保护多个线程都会用到的东西了,说到这里,想必你已经猜到了:全局变量和静态变量. 1.1.2   互斥Mut