一、综述:
在设计播放器1.0时,曾使用vtune和VS自带的性能分析工具测试,对于播放器这样的软件其核心流程分为收流&拼帧、解码、渲染三大块,其中收流&拼帧在大并发模式下不是性能瓶颈。渲染模块使用D3D渲染,渲染操作本身仅占用3%左右的CPU时间。而解码和拷贝操作是非常耗费CPU的。对于ffmpeg解码优化,本文不做赘述,后续详细展开。此处仅讨论内存拷贝优化方案
二、内存拷贝优化方案
1、业界通用播放器一般均使用内存池pool的设计思路,根据分辨率大小申请内存块,一旦申请后,由内存池统一管理。解码模块从内存池get内存,填充数据后,通知渲染模块,渲染模块消费后,归还到内存池。类似生产、消费的模式。这种设计思路的优点是大量减少了内存申请释放的动作,处理效率高。缺点是解码、渲染线程在访问内存池时需加锁,并发性上有损耗。
2、如果是基于消息驱动机制实现的播放器,解码模块与渲染模块是消息驱动,相互间的交互完全通过发消息,取消息队列数据完成。未采用内存池方法,而是每次解码时申请内存,渲染模块消费后释放。
几大优化点:
1)解码前可以new出内存=解码对象Length+YUV占用数据空间+ffmepg解码所需的padding空间。一次申请这样一块连续内存,配合下面详细流程中偏移到YUV地址,将Y\U\V三个picth指针地址记录后交由ffmpeg解码,解码后将解码参数赋值到解码对象中,可以使用 new(pBuf)CVideoFrame()方式转换为CVideoFrame对象指针后赋值。这样改进后解码到最终渲染需new一次内存,拷贝一次(申请的内存拷贝到D3D离屏表面)
2)VLC中还做了优化,D3D离屏表面的内存由于内存池第一个,这样使用这块内存的时候可以省掉一次拷贝。(个人觉得没必要,增加了代码复杂度,且优化效果不明显)
三、详细流程
1 modules\codec\avcodec\video.c InitVideoDec get_buffer2 = lavc_GetFrame;
2 modules\codec\avcodec\video.c lavc_GetFrame
3 modules\codec\avcodec\video.c lavc_dr_GetFrame
4 modules\codec\avcodec\video.c ffmpeg_NewPictBuf
5 src\input\decoder.c decoder_NewPicture
6 src\input\decoder.c vout_new_buffer
7 if (p_owner->p_vout == NULL) goto 8 else goto 13
8 src\input\resource.c if (p_owner->p_vout == NULL) input_resource_RequestVout
9 src\input\resource.c RequestVout
10 src\video_output\video_output.c VoutCreate
11 src\video_output\video_output.c vlc_clone(&vout->p->thread, Thread, vout, VLC_THREAD_PRIORITY_OUTPUT) 创建线程 goto 15
12 src\video_output\video_output.c vout_control_WaitEmpty(&vout->p->control); 等待线程创建picture_pool完毕 goto 13
13 src\video_output\video_output.c vout_GetPicture
14 src\misc\picture_pool.c picture_pool_Get 从picture_pool取出一帧pciture_t
15 src\video_output\video_output.c Thread
16 src\video_output\video_output.c ThreadControl
17 src\video_output\video_output.c ThreadStart
18 src\video_output\vout_wrapper.c vout_OpenWrapper goto 24
19 src\video_output\vout_wrapper.c vout_InitWrapper
20 src\misc\picture_pool.c picture_pool_NewFromFormat
21 src\misc\picture_pool.c picture_pool_New 创建picturepool
22 src\misc\picture.c 33次picture_NewFromFormat
23 src\misc\picture.c picture_NewFromResource return 11 to 12
24 src\video_output\display.c vout_NewDisplay
25 src\video_output\display.c DisplayNew
26 src\video_output\display.c vout_display_New
27 src\modules\modules.c module_need
28 src\modules\modules.c vlc_module_load
29 modules\video_output\msw\direct3d.c Open
30 modules\video_output\msw\direct3d.c Direct3DOpen
31 modules\video_output\msw\direct3d.c Direct3DCreateResources
32 modules\video_output\msw\direct3d.c Direct3DCreatePool
33 src\misc\picture.c picture_NewFromResource return 18 to 19