CUDA从入门到精通（零）：写在前面

接着上一节,我们利用刚学到的共享内存和线程同步技术,来做一个简单的例子.先看下效果吧:   很简单,就是分别求出1~5这5个数字的和,平方和,连乘积.相信学过C语言的童鞋都能用for循环做出同上面一样的效果,但为了学习CUDA共享内存和同步技术,我们还是要把简单的东西复杂化(^_^).   简要分析一下,上面例子的输入都是一样的,1,2,3,4,5这5个数,但计算过程有些变化,而且每个输出和所有输入都相关,不是前几节例子中那样,一个输出只和一个输入有关.所以我们在利用CUDA编程时,需要针对特殊

刚入门CUDA,跑过几个官方提供的例程,看了看人家的代码,觉得并不难,但自己动手写代码时,总是不知道要先干什么,后干什么,也不知道从哪个知识点学起.这时就需要有一本能提供指导的书籍或者教程,一步步跟着做下去,直到真正掌握. 一般讲述CUDA的书,我认为不错的有下面这几本:     初学者可以先看美国人写的这本<GPU高性能编程CUDA实战>,可操作性很强,但不要期望能全看懂(Ps:里面有些概念其实我现在还是不怎么懂),但不影响你进一步学习.如果想更全面地学习CUDA,<GPGPU编程技术

    入门后的进一步学习的内容,就是如何优化自己的代码.我们前面的例子没有考虑任何性能方面优化,是为了更好地学习基本知识点,而不是其他细节问题.从本节开始,我们要从性能出发考虑问题,不断优化代码,使执行速度提高是并行处理的唯一目的. 测试代码运行速度有很多方法,C语言里提供了类似于SystemTime()这样的API获得系统时间,然后计算两个事件之间的时长从而完成计时功能.在CUDA中,我们有专门测量设备运行时间的API,下面一一介绍.   翻开编程手册<CUDA_Toolkit_Refere

前面我们没有讲程序的结构,我想有些童鞋可能迫不及待想知道CUDA程序到底是怎么一个执行过程.好的,这一节在介绍流之前,先把CUDA程序结构简要说一下. CUDA程序文件后缀为.cu,有些编译器可能不认识这个后缀的文件,我们可以在VS2008的Tools->Options->Text Editor->File Extension里添加cu后缀到VC++中,如下图:   一个.cu文件内既包含CPU程序(称为主机程序),也包含GPU程序(称为设备程序).如何区分主机程序和设备程序?根据声明,

NVIDIA于2006年推出CUDA(Compute Unified Devices Architecture),可以利用其推出的GPU进行通用计算,将并行计算从大型集群扩展到了普通显卡,使得用户只需要一台带有Geforce显卡的笔记本就能跑较大规模的并行处理程序.   使用显卡的好处是,和大型集群相比功耗非常低,成本也不高,但性能很突出.以我的笔记本为例,Geforce 610M,用DeviceQuery程序测试,可得到如下硬件参数: 计算能力达48X0.95 = 45.6 GFLOPS.而笔

  书接上回,我们既然直接运行例程成功了,接下来就是了解如何实现例程中的每个环节.当然,我们先从简单的做起,一般编程语言都会找个helloworld例子,而我们的显卡是不会说话的,只能做一些简单的加减乘除运算.所以,CUDA程序的helloworld,我想应该最合适不过的就是向量加了. 打开VS2008,选择File->New->Project,弹出下面对话框,设置如下: 之后点OK,直接进入工程界面. 工程中,我们看到只有一个.cu文件,内容如下: #include "cuda_r

前面三节已经对CUDA做了一个简单的介绍,这一节开始真正进入编程环节. 首先,初学者应该对自己使用的设备有较为扎实的理解和掌握,这样对后面学习并行程序优化很有帮助,了解硬件详细参数可以通过上节介绍的几本书和官方资料获得,但如果仍然觉得不够直观,那么我们可以自己动手获得这些内容.   以第二节例程为模板,我们稍加改动的部分代码如下: // Add vectors in parallel. cudaError_t cudaStatus; int num = 0; cudaDeviceProp pro

同一版本的代码用了这么多次,有点过意不去,于是这次我要做较大的改动,大家要擦亮眼睛,拭目以待.   块并行相当于操作系统中多进程的情况,上节说到,CUDA有线程组(线程块)的概念,将一组线程组织到一起,共同分配一部分资源,然后内部调度执行.线程块与线程块之间,毫无瓜葛.这有利于做更粗粒度的并行.我们将上一节的代码改为块并行版本如下:   #include "cuda_runtime.h" #include "device_launch_parameters.h" #

多线程我们应该都不陌生,在操作系统中,进程是资源分配的基本单元,而线程是CPU时间调度的基本单元(这里假设只有1个CPU). 将线程的概念引申到CUDA程序设计中,我们可以认为线程就是执行CUDA程序的最小单元,前面我们建立的工程代码中,有个核函数概念不知各位童鞋还记得没有,在GPU上每个线程都会运行一次该核函数. 但GPU上的线程调度方式与CPU有很大不同.CPU上会有优先级分配,从高到低,同样优先级的可以采用时间片轮转法实现线程调度.GPU上线程没有优先级概念,所有线程机会均等,线程状态只有