FFMPEG-AVFilter研究

FFMPEG中的libswscale是做像素转换的，但是对于一些复杂的操作，比如添加水印等，这个库就不行了，这时候就要说一下另外一个AVFilter。AVFilter完全可以替代libswscale的所有功能，也许有一天，ffmpeg也会这样去做。AVFilter虽然学起来有点复杂，但是为了学好FFMPEG，为了涨工资，我忍了。(*^__^*) 嘻嘻……

概念:

做个directshow的同学，对于这一块应该很了解了。

1.AVFilterGraph:和dshow中的filtergraph功能基本上一样，管理filter的，可以看成filter的一个容器。

2.AVFilter:就是一个filter啦。但是为什么叫做filter,其实就是一个过滤器，目标资源通过该过滤器总该发生一点变化是吧。。。。。

3.AVFilterLink:代表两个filter的关联媒介。

4.AVFilterPad:代表一个filter的输入输出口，就跟dshow中的pin差不多。只有输入pad的叫做source，只有输出pad的叫做sink。

下面是官方提供的一个例子：

[cpp] view plain copy

 
 print?

1. /* 
2. *modifier by tongli 
3. */  
4. #define _XOPEN_SOURCE 600   
5. #include <stdio.h>  
6. #include <windows.h>  
7. #include "snprintf.h"  
8. extern "C"  
9. {  
10. #include <libavcodec/avcodec.h>  
11. #include <libavformat/avformat.h>  
12. #include <libavfilter/avfiltergraph.h>  
13. #include <libavfilter/avcodec.h>  
14. #include <libavfilter/buffersink.h>  
15. #include <libavfilter/buffersrc.h>  
16. #include <libavutil/opt.h>  
17. }  
18.   
19. const char *filter_descr = "scale=78:24";  
20.   
21. static AVFormatContext *fmt_ctx;  
22. static AVCodecContext *dec_ctx;  
23. AVFilterContext *buffersink_ctx;  
24. AVFilterContext *buffersrc_ctx;  
25. AVFilterGraph *filter_graph;  
26. static int video_stream_index = -1;  
27. static int64_t last_pts = AV_NOPTS_VALUE;  
28.   
29. static int open_input_file(const char *filename)  
30. {  
31.     int ret;  
32.     AVCodec *dec;  
33.   
34.     if ((ret = avformat_open_input(&fmt_ctx, filename, NULL, NULL)) < 0) {  
35.         av_log(NULL, AV_LOG_ERROR, "Cannot open input file\n");  
36.         return ret;  
37.     }  
38.   
39.     if ((ret = avformat_find_stream_info(fmt_ctx, NULL)) < 0) {  
40.         av_log(NULL, AV_LOG_ERROR, "Cannot find stream information\n");  
41.         return ret;  
42.     }  
43.   
44.     /* select the video stream */  
45.     ret = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, &dec, 0);  
46.     if (ret < 0) {  
47.         av_log(NULL, AV_LOG_ERROR, "Cannot find a video stream in the input file\n");  
48.         return ret;  
49.     }  
50.     video_stream_index = ret;  
51.     dec_ctx = fmt_ctx->streams[video_stream_index]->codec;  
52.     av_opt_set_int(dec_ctx, "refcounted_frames", 1, 0);  
53.   
54.     /* init the video decoder */  
55.     if ((ret = avcodec_open2(dec_ctx, dec, NULL)) < 0) {  
56.         av_log(NULL, AV_LOG_ERROR, "Cannot open video decoder\n");  
57.         return ret;  
58.     }  
59.   
60.     return 0;  
61. }  
62.   
63. static int init_filters(const char *filters_descr)  
64. {  
65.     char args[512];  
66.     int ret = 0;  
67.     AVFilter *buffersrc = avfilter_get_by_name("buffer");  
68.     AVFilter *buffersink = avfilter_get_by_name("buffersink");  
69.     AVFilterInOut *outputs = avfilter_inout_alloc();  
70.     AVFilterInOut *inputs = avfilter_inout_alloc();  
71.     AVRational time_base = fmt_ctx->streams[video_stream_index]->time_base;  
72.     enum AVPixelFormat pix_fmts[] = { AV_PIX_FMT_GRAY8, AV_PIX_FMT_NONE };  
73.   
74.     filter_graph = avfilter_graph_alloc();  
75.     if (!outputs || !inputs || !filter_graph) {  
76.         ret = AVERROR(ENOMEM);  
77.         goto end;  
78.     }  
79.   
80.     /* buffer video source: the decoded frames from the decoder will be inserted here. */  
81.     snprintf(args, sizeof(args),  
82.         "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",  
83.         dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,  
84.         time_base.num, time_base.den,  
85.         dec_ctx->sample_aspect_ratio.num, dec_ctx->sample_aspect_ratio.den);  
86.   
87.     ret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",  
88.         args, NULL, filter_graph);  
89.     if (ret < 0) {  
90.         av_log(NULL, AV_LOG_ERROR, "Cannot create buffer source\n");  
91.         goto end;  
92.     }  
93.   
94.     /* buffer video sink: to terminate the filter chain. */  
95.     ret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",  
96.         NULL, NULL, filter_graph);  
97.     if (ret < 0) {  
98.         av_log(NULL, AV_LOG_ERROR, "Cannot create buffer sink\n");  
99.         goto end;  
100.     }  
101.   
102.     ret = av_opt_set_int_list(buffersink_ctx, "pix_fmts", pix_fmts,  
103.         AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);  
104.     if (ret < 0) {  
105.         av_log(NULL, AV_LOG_ERROR, "Cannot set output pixel format\n");  
106.         goto end;  
107.     }  
108.   
109.     /* Endpoints for the filter graph. */  
110.     outputs->name = av_strdup("in");  
111.     outputs->filter_ctx = buffersrc_ctx;  
112.     outputs->pad_idx = 0;  
113.     outputs->next = NULL;  
114.   
115.     inputs->name = av_strdup("out");  
116.     inputs->filter_ctx = buffersink_ctx;  
117.     inputs->pad_idx = 0;  
118.     inputs->next = NULL;  
119.   
120.     if ((ret = avfilter_graph_parse_ptr(filter_graph, filters_descr,  
121.         &inputs, &outputs, NULL)) < 0)  
122.         goto end;  
123.   
124.     if ((ret = avfilter_graph_config(filter_graph, NULL)) < 0)  
125.         goto end;  
126.   
127. end:  
128.     avfilter_inout_free(&inputs);  
129.     avfilter_inout_free(&outputs);  
130.   
131.     return ret;  
132. }  
133.   
134. static void display_frame(const AVFrame *frame, AVRational time_base)  
135. {  
136.     int x, y;  
137.     uint8_t *p0, *p;  
138.     int64_t delay;  
139.     AVRational ar_base_q = { 1, AV_TIME_BASE };  
140.     if (frame->pts != AV_NOPTS_VALUE) {  
141.         if (last_pts != AV_NOPTS_VALUE) {  
142.             /* sleep roughly the right amount of time; 
143.             * usleep is in microseconds, just like AV_TIME_BASE. */  
144.             delay = av_rescale_q(frame->pts - last_pts,  
145.                 time_base, ar_base_q);  
146.             if (delay > 0 && delay < 1000000)  
147.                 //usleep(delay);  
148.                 Sleep(delay);  
149.         }  
150.         last_pts = frame->pts;  
151.     }  
152.   
153.     /* Trivial ASCII grayscale display. */  
154.     p0 = frame->data[0];  
155.     puts("\033c");  
156.     for (y = 0; y < frame->height; y++) {  
157.         p = p0;  
158.         for (x = 0; x < frame->width; x++)  
159.             putchar(" .-+#"[*(p++) / 52]);  
160.         putchar('\n');  
161.         p0 += frame->linesize[0];  
162.     }  
163.     fflush(stdout);  
164. }  
165.   
166. int main(int argc, char **argv)  
167. {  
168.     int ret;  
169.     AVPacket packet;  
170.     AVFrame *frame = av_frame_alloc();  
171.     AVFrame *filt_frame = av_frame_alloc();  
172.     int got_frame;  
173.   
174.     if (!frame || !filt_frame) {  
175.         perror("Could not allocate frame");  
176.         exit(1);  
177.     }  
178.   
179.     av_register_all();  
180.     avfilter_register_all();  
181.   
182.     if ((ret = open_input_file("style.ts")) < 0)  
183.         goto end;  
184.     if ((ret = init_filters(filter_descr)) < 0)  
185.         goto end;  
186.   
187.     /* read all packets */  
188.     while (1) {  
189.         if ((ret = av_read_frame(fmt_ctx, &packet)) < 0)  
190.             break;  
191.   
192.         if (packet.stream_index == video_stream_index) {  
193.             got_frame = 0;  
194.             ret = avcodec_decode_video2(dec_ctx, frame, &got_frame, &packet);  
195.             if (ret < 0) {  
196.                 av_log(NULL, AV_LOG_ERROR, "Error decoding video\n");  
197.                 break;  
198.             }  
199.   
200.             if (got_frame) {  
201.                 frame->pts = av_frame_get_best_effort_timestamp(frame);  
202.   
203.                 /* push the decoded frame into the filtergraph */  
204.                 if (av_buffersrc_add_frame_flags(buffersrc_ctx, frame, AV_BUFFERSRC_FLAG_KEEP_REF) < 0) {  
205.                     av_log(NULL, AV_LOG_ERROR, "Error while feeding the filtergraph\n");  
206.                     break;  
207.                 }  
208.   
209.                 /* pull filtered frames from the filtergraph */  
210.                 while (1) {  
211.                     ret = av_buffersink_get_frame(buffersink_ctx, filt_frame);  
212.                     if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)  
213.                         break;  
214.                     if (ret < 0)  
215.                         goto end;  
216.                     display_frame(filt_frame, buffersink_ctx->inputs[0]->time_base);  
217.                     av_frame_unref(filt_frame);  
218.                 }  
219.                 av_frame_unref(frame);  
220.             }  
221.         }  
222.         av_free_packet(&packet);  
223.     }  
224. end:  
225.     avfilter_graph_free(&filter_graph);  
226.     avcodec_close(dec_ctx);  
227.     avformat_close_input(&fmt_ctx);  
228.     av_frame_free(&frame);  
229.     av_frame_free(&filt_frame);  
230.   
231.     if (ret < 0 && ret != AVERROR_EOF) {  
232.         fprintf(stderr, "Error occurred: %s\n"); //av_err2str(ret));  
233.         exit(1);  
234.     }  
235.   
236.     exit(0);  
237. }  

未完待续。。。。