基于C++实现kinect+opencv 获取深度及彩色数据_C 语言

开发环境 vs2010+OPENCV2.4.10

首先，下载最新的Kinect 2 SDK  http://www.microsoft.com/en-us/kinectforwindows/develop/downloads-docs.aspx

下载之后不要插入Kinect，最好也不用插入除了键盘鼠标以外的其它USB设备，然后安装SDK，安装完成之后插入Kinect，会有安装新设备的提示。安装完成之后可以去“开始”那里找到两个新安装的软件，一个是可以显示Kinect深度图，另外一个软件展示SDK中的各种例子程序。

进入SDK的安装目录，可以找到sample这个文件夹，里面是四种语言编写的例子，其中native是C++的，managed是C#的，还有另外两种语言不熟悉，我就熟悉C++，反正只是试试的，就用C++了。

opencv+kinect .cpp

#include <opencv2\opencv.hpp>
#include<iostream>
//windows的头文件，必须要，不然NuiApi.h用不了
#include <Windows.h>
//Kinect for windows 的头文件
#include "NuiApi.h"

using namespace std;
using namespace cv;

#include <d3d11.h>

//最远距离(mm)
const int MAX_DISTANCE = 3500;
//最近距离(mm)
const int MIN_DISTANCE = 200;

const LONG m_depthWidth = 640;
const LONG m_depthHeight = 480;
const LONG m_colorWidth = 640;
const LONG m_colorHeight = 480;
const LONG cBytesPerPixel = 4;

int main()
{
  //彩色图像
  Mat image_rgb;
  //深度图像
  Mat image_depth;

  //创建一个MAT
  image_rgb.create(480,640,CV_8UC3);
  image_depth.create(480,640,CV_8UC1);

  //一个KINECT实例指针
  INuiSensor* m_pNuiSensor = NULL;

  if (m_pNuiSensor != NULL)
  {
    return 0;
  }

  //记录当前连接KINECT的数量（为多连接做准备）
  int iSensorCount;
  //获得当前KINECT的数量
  HRESULT hr = NuiGetSensorCount(&iSensorCount);

  //按照序列初始化KINETC实例，这里就连接了一个KINECT，所以没有用到循环
  hr = NuiCreateSensorByIndex(iSensorCount - 1, &m_pNuiSensor);
  //初始化，让其可以接收彩色和深度数据流
  hr = m_pNuiSensor->NuiInitialize(NUI_INITIALIZE_FLAG_USES_COLOR | NUI_INITIALIZE_FLAG_USES_DEPTH);

  //判断是否出错
  if (FAILED(hr))
  {
    cout<<"NuiInitialize failed"<<endl;
    return hr;
  }

  //彩色图像获取下一帧事件
  HANDLE nextColorFrameEvent = CreateEvent(NULL, TRUE, FALSE, NULL);
  //彩色图像事件句柄
  HANDLE colorStreamHandle = NULL;
  //深度图像获取下一帧事件
  HANDLE nextDepthFrameEvent = CreateEvent(NULL, TRUE, FALSE, NULL);
  //深度图像事件句柄
  HANDLE depthStreamHandle = NULL;

  //实例打开数据流，这里NUI_IMAGE_TYPE_COLOR表示彩色图像
  hr = m_pNuiSensor->NuiImageStreamOpen(NUI_IMAGE_TYPE_COLOR, NUI_IMAGE_RESOLUTION_640x480, 0,2,nextColorFrameEvent,&colorStreamHandle);

  if( FAILED( hr ) )//判断是否提取正确
  {
    cout<<"Could not open color image stream video"<<endl;
    m_pNuiSensor->NuiShutdown();
    return hr;
  }

  //实例打开数据流，这里NUI_IMAGE_TYPE_DEPTH表示深度图像
  hr = m_pNuiSensor->NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH, NUI_IMAGE_RESOLUTION_640x480, 0,2, nextDepthFrameEvent, &depthStreamHandle);

  if( FAILED( hr ) )//判断是否提取正确
  {
    cout<<"Could not open color image stream video"<<endl;
    m_pNuiSensor->NuiShutdown();
    return hr;
  }

  cv::namedWindow("depth", CV_WINDOW_AUTOSIZE);
  moveWindow("depth",300,600);
  cv::namedWindow("colorImage",CV_WINDOW_AUTOSIZE);
  moveWindow("colorImage",0,200);

  while (1)
  {
    NUI_IMAGE_FRAME pImageFrame_rgb;
    NUI_IMAGE_FRAME pImageFrame_depth;

    //无限等待新的彩色数据，等到后返回
    if (WaitForSingleObject(nextColorFrameEvent, 0) == 0)
    {
      //从刚才打开数据流的流句柄中得到该帧数据，读取到的数据地址存于pImageFrame
      hr = m_pNuiSensor->NuiImageStreamGetNextFrame(colorStreamHandle, 0, &pImageFrame_rgb);
      if (FAILED(hr))
      {
        cout<<"Could not get color image"<<endl;
        m_pNuiSensor->NuiShutdown();
        return -1;
      }

      INuiFrameTexture *pTexture = pImageFrame_rgb.pFrameTexture;
      NUI_LOCKED_RECT lockedRect;

      //提取数据帧到LockedRect，它包括两个数据对象：pitch每行字节数，pBits第一个字节地址
      //并锁定数据，这样当我们读数据的时候，kinect就不会去修改它

      pTexture->LockRect(0, &lockedRect, NULL, 0);
      //确认获得的数据是否有效
      if (lockedRect.Pitch != 0)
      {
        //将数据转换为OpenCV的Mat格式
        for (int i = 0; i < image_rgb.rows; i++)
        {
          //第i行的指针
          uchar *prt = image_rgb.ptr(i);

          //每个字节代表一个颜色信息，直接使用uchar
          uchar *pBuffer = (uchar*)(lockedRect.pBits) + i * lockedRect.Pitch;

          for (int j = 0; j < image_rgb.cols; j++)
          {
            prt[3 * j] = pBuffer[4 * j];//内部数据是4个字节，0-1-2是BGR，第4个现在未使用
            prt[3 * j + 1] = pBuffer[4 * j + 1];
            prt[3 * j + 2] = pBuffer[4 * j + 2];
          }
        }

        imshow("colorImage",image_rgb);
        //解除锁定
        pTexture->UnlockRect(0);
        //释放帧
        m_pNuiSensor->NuiImageStreamReleaseFrame(colorStreamHandle, &pImageFrame_rgb );
      }
      else
      {
        cout<<"Buffer length of received texture is bogus\r\n"<<endl;
      }

      BOOL nearMode;
      INuiFrameTexture* pColorToDepthTexture; 

      //深度图像的处理
      if (WaitForSingleObject(nextDepthFrameEvent, INFINITE) == 0)
      {

        hr = m_pNuiSensor->NuiImageStreamGetNextFrame(depthStreamHandle, 0 , &pImageFrame_depth);

        if (FAILED(hr))
        {
          cout<<"Could not get color image"<<endl;
          NuiShutdown();
          return -1;
        }

        hr = m_pNuiSensor->NuiImageFrameGetDepthImagePixelFrameTexture(
          depthStreamHandle, &pImageFrame_depth, &nearMode, &pColorToDepthTexture);
        INuiFrameTexture *pTexture = pImageFrame_depth.pFrameTexture;
        NUI_LOCKED_RECT lockedRect;
        NUI_LOCKED_RECT ColorToDepthLockRect; 

        pTexture->LockRect(0, &lockedRect, NULL, 0);
        pColorToDepthTexture->LockRect(0,&ColorToDepthLockRect,NULL,0); 

        //归一化
        for (int i = 0; i < image_depth.rows; i++)
        {
          uchar *prt = image_depth.ptr<uchar>(i);

          uchar* pBuffer = (uchar*)(lockedRect.pBits) + i * lockedRect.Pitch;
          //这里需要转换，因为每个深度数据是2个字节，应将BYTE转成USHORT
          USHORT *pBufferRun = (USHORT*)pBuffer;

          for (int j = 0; j < image_depth.cols; j++)
          {
            //先向，将数据归一化处理，对深度距离在300mm-3500mm范围内的像素，映射到【0—255】内，
            //超出范围的，都去做是边缘像素
            if (pBufferRun[j] << 3 > MAX_DISTANCE) prt[j] = 255;
            else if(pBufferRun[j] << 3 < MIN_DISTANCE) prt[j] = 0;
            else prt[j] = (BYTE)(256 * (pBufferRun[j] << 3)/ MAX_DISTANCE);
          }
        }
        imshow("depth", image_depth);

        //接下来是对齐部分，将前景抠出来

        //存放深度点的参数
        NUI_DEPTH_IMAGE_POINT* depthPoints = new NUI_DEPTH_IMAGE_POINT[640 * 480];
        if (ColorToDepthLockRect.Pitch != 0)
        {
          HRESULT hrState = S_OK; 

          //一个能在不同空间坐标转变的类（包括：深度，彩色，骨骼）
          INuiCoordinateMapper* pMapper; 

          //设置KINECT实例的空间坐标系
          hrState = m_pNuiSensor->NuiGetCoordinateMapper(&pMapper); 

          if (FAILED(hrState))
          {
            return hrState;
          } 

          //重要的一步：从颜色空间映射到深度空间。参数说明：
          //【参数1】：彩色图像的类型
          //【参数2】：彩色图像的分辨率
          //【参数3】：深度图像的分辨率
          //【参数4】：深度图像的个数
          //【参数5】：深度像素点数
          //【参数6】：取内存的大小，个数。类型为NUI_DEPTH_IMAGE_PIXEL
          //【参数7】：存放映射结果点的参数
          hrState = pMapper->MapColorFrameToDepthFrame(NUI_IMAGE_TYPE_COLOR, NUI_IMAGE_RESOLUTION_640x480, NUI_IMAGE_RESOLUTION_640x480,
            640 * 480, (NUI_DEPTH_IMAGE_PIXEL*)ColorToDepthLockRect.pBits,640 * 480, depthPoints); 

          if (FAILED(hrState))
          {
            return hrState;
          } 

          //显示的图像
          Mat show;
          show.create(480,640,CV_8UC3);
          show = 0;

          for (int i = 0; i < image_rgb.rows; i++)
          {
            for (int j = 0; j < image_rgb.cols; j++)
            {
              uchar *prt_rgb = image_rgb.ptr(i);
              uchar *prt_show = show.ptr(i);
              //在内存中偏移量
              long index = i * 640 + j;
              //从保存了映射坐标的数组中获取点
              NUI_DEPTH_IMAGE_POINT depthPointAtIndex = depthPoints[index]; 

              //边界判断
              if (depthPointAtIndex.x >= 0 && depthPointAtIndex.x < image_depth.cols &&
                depthPointAtIndex.y >=0 && depthPointAtIndex.y < image_depth.rows)
              {
                //深度判断，在MIN_DISTANCE与MAX_DISTANCE之间的当成前景，显示出来
                //这个使用也很重要，当使用真正的深度像素点再在深度图像中获取深度值来判断的时候，会出错
                if (depthPointAtIndex.depth >= MIN_DISTANCE && depthPointAtIndex.depth <= MAX_DISTANCE)
                {
                  prt_show[3 * j]   = prt_rgb[j * 3];
                  prt_show[3 * j + 1] = prt_rgb[j * 3 + 1];
                  prt_show[3 * j + 2] = prt_rgb[j * 3 + 2];
                }
              }
            }
          }
          imshow("show", show);
        }

        delete []depthPoints;

        pTexture->UnlockRect(0);
        m_pNuiSensor->NuiImageStreamReleaseFrame(depthStreamHandle, &pImageFrame_depth);
      }

      else
      {
        cout<<"Buffer length of received texture is bogus\r\n"<<endl;
      }
    }

    if (cvWaitKey(20) == 27)
      break;
  }
  return 0;
}

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索opencv
kinect
kinect深度图和彩色图、opencv kinect、opencv读取kinect图像、opencv kinect 标定、opencv获取kinect图像，以便于您获取更多的相关知识。

时间： 2024-08-19 01:00:33

基于C++实现kinect+opencv 获取深度及彩色数据_C 语言的相关文章

C语言实现基于最大堆和最小堆的堆排序算法示例_C 语言

堆定义堆实际上是一棵完全二叉树,其任何一非叶节点满足性质: Key[i]<=key[2i+1]&&Key[i]<=key[2i+2](小顶堆)或者:Key[i]>=Key[2i+1]&&key>=key[2i+2](大顶堆) 即任何一非叶节点的关键字不大于或者不小于其左右孩子节点的关键字. 堆排序的思想利用大顶堆(小顶堆)堆顶记录的是最大关键字(最小关键字)这一特性,使得每次从无序中选择最大记录(最小记录)变得简单. 最大堆:所有节点的子节点比其自身

使用WindowsAPI获取录音音频的方法_C 语言

本文实例介绍了使用winmm.h进行音频流的获取的方法,具体步骤如下: 一.首先需要包含以下引用对象 #include <Windows.h> #include "mmsystem.h" #pragma comment(lib, "winmm.lib") 二.音频的获取需要调用7个函数 1. waveInGetNumDevs:返回系统中就绪的波形声音输入设备的数量 UINT waveInGetNumDevs(VOID); 2. waveInGetDevC

基于VC实现的网络监听功能程序实例_C 语言

本文所述VC++网络监听器代码,可以实现监听网络连接所使用的协议.源IP地址.目标IP地址等信息的功能,并且能把数据内容绑定到网格控件中显示.具体功能代码部分如下所示: //线程函数 UINT ThreadFun( LPVOID pParam ) { CSniffAppDlg* pDlg = static_cast<CSniffAppDlg*>(pParam); MSG msg; char buffer[1000],sourceip[32] ,*tempbuf; char *ptemp; BY

C语言编写基于TCP和UDP协议的Socket通信程序示例_C 语言

Tcp多线程服务器和客户端程序服务器程序: #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <sys/types.h> #include <sys/socket.h> #include <unistd.h> #define PORT 8082 #define BUFSIZE 512 char

使用opencv拉伸图像扩大分辨率示例_C 语言

使用OPENCV图像处理库,拉伸图像扩大分辨率 复制代码 代码如下: //缩放图像文件#include <opencv2/opencv.hpp>using namespace std;//隐藏控制台窗口#pragma comment(linker, "/subsystem:\"windows\" /entry:\"mainCRTStartup\"")int main(){ const char *pstrImageName = &qu

C语言中获取进程识别码的相关函数_C 语言

C语言getpid()函数:获取进程识别码头文件: #include <unistd.h> 定义函数: pid_t getpid(void); 函数说明:getpid ()用来取得目前进程的进程识别码,许多程序利用取到的此值来建立临时文件, 以避免临时文件相同带来的问题. 返回值:目前进程的进程识别码 范例 #include <unistd.h> main() { printf("pid=%d\n", getpid()); } 执行: pid=1494 /*每次

在C语言编程中设置和获取代码组数的方法_C 语言

C语言setgroups()函数:设置组代码函数头文件: #include <grp.h> 定义函数: int setgroups(size_t size, const gid_t * list); 函数说明:setgroups()用来将list 数组中所标明的组加入到目前进程的组设置中. 参数size 为list()的gid_t 数目, 最大值为NGROUP(32). 返回值:设置成功则返回0, 如有错误则返回-1. 错误代码: EFAULT:参数list 数组地址不合法. EPERM:权限

使用Objective-C获取IPHONE手机IMSI序列号_C 语言

获取IPhone 的IMSI序列号 #include <dlfcn.h> #define PRIVATE_PATH "/System/Library/PrivateFrameworks/CoreTelephony.framework/CoreTelephony" - void getImsi(){ #if !TARGET_IPHONE_SIMULATOR void *kit = dlopen(PRIVATE_PATH,RTLD_LAZY); NSString *imsi =

c/c++实现获取域名的IP地址_C 语言

c/c++实现获取域名的IP地址 // GetHostIP.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include <winsock2.h> #include <ws2tcpip.h> #include <stdio.h> #include <windows.h> #pragma comment(lib, "ws2_32.lib") int main(int argc,