本系列 以 ffmpeg4.2 源码为准,下载地址:链接:百度网盘 提取码:g3k8
FFplay 源码分析系列以一条简单的命令开始,ffplay -i a.mp4
。a.mp4下载链接:百度网盘,提取码:nl0s 。
上一篇文章已经讲解完了 audio_thread() 音频解码线程的逻辑,这篇文章主要讲解 video_thread(),视频解码线程的内部逻辑。
知识点:
- audio_thread 音频解码线程获取 frame 用的是 decoder_decode_frame() 函数。而 video_thread 视频解码线程获取 frame 用的是 get_video_frame() ,get_video_frame() 是对 decoder_decode_frame() 的一个封装。这样做是因为视频向音频同步的时候,需要丢帧,只能在get_video_frame()里面丢帧,而音频向视频同步的时候,是不能丢帧,只能拉长或缩短音频播放时间,具体后续再讲。
- configure_video_filtees() 函数本文不会仔细讲解,因为 命令行没有使用 -vf,暂时只需要知道 VFrame 会经过 in_video_filter,然后从 out_video_filter 出来就行,因为是空的 filter_graph,所以AVFrame是没变化的。
还有一个比较重要的知识点需要提及一下,请看以下代码。
ffplay.c 2186行
ret = av_buffersrc_add_frame(filt_in, frame);
...省略代码...
while (ret >= 0) {
is->frame_last_returned_time = av_gettime_relative() / 1000000.0;
...省略代码...
ret = av_buffersink_get_frame_flags(filt_out, frame, 0);
//
is->frame_last_filter_delay = av_gettime_relative() / 1000000.0 - is->frame_last_returned_time;
...省略代码...
}
is->frame_last_returned_time 是为了计算frame经过filter转换花了多少时间,为什么要计算这个值,是因为音视频同步的时候需要考虑 经过 filter 转换的时间,从队列里面拿到视频Frame,并不是立马就给SDL播放的。如果命令行指定了 -vf,中间会有一个filter转换的时间差。
ffplay 插入FrameQueue队列的函数有两个。
- frame_queue_peek_writable() ,从队列数组选出一个 可以写的struct Frame。
- frame_queue_push(),偏移 写索引 windex,增加size。
可以看到,队列是由两个函数来完成的,第一个函数frame_queue_peek_writable() 只是取了Frame,并没有偏移写索引,偏移是由frame_queue_push()完成。
还有一个注意的点是,video_thread() 插入Frame队列,用的是 queue_picture(),对 frame_queue_peek_writable 跟 frame_queue_push 做了一层封装。
而 audio_thread() 插入Frame队列 是直接调上面两个函数实现的。
ffplay 源码分析,video_thread() 解码线程分析完毕。
©版权所属:知识星球:弦外之音,QQ:2338195090。
由于笔者的水平有限, 加之编写的同时还要参与开发工作,文中难免会出现一些错误或者不准确的地方,恳请读者批评指正。如果读者有任何宝贵意见,可以加我微信 Loken1。
get_video_frame 方法 里面 有一段丢帧的逻辑 有点没理解
可以分析下吗?
@一个内伤 博客有3篇音视频同步的文章,你搜索关键词”音视频同步”,里面有讲
@loken double diff = dpts – get_master_clock(is);
if (!isnan(diff) && fabs(diff) frame_last_filter_delay viddec.pkt_serial == is->vidclk.serial &&
is->videoq.nb_packets) {
is->frame_drops_early++;
printf(“%s — %d count : %d\n”, __func__, __LINE__, is->frame_drops_early);
av_frame_unref(frame);
got_picture = 0;
}
是 get_video_frame 方法里面的 这段代码 我没太理解 为什么 diff < 0 要丢帧呢
3篇音视频同步的文章 好像没提到这个
@一个内伤 diff 大于 0 代表 视频 比 音频 播放快了, diff 小于 0 代表 视频 比 音频 播放慢了,diff 的单位是秒。
所以 diff < 0 要丢视频帧,让视频追上音频。 《FFplay源码分析-音视频同步2》文章里面有讲的
@loken 同步2 文章里 提到 “ 如果视频慢于音频的时间,比一帧的时间还短,不进行同步”
这里 diff < 0 (视频慢于音频)又要丢帧 ,主要就是这里没搞明白 😞
@一个内伤 这里可能我讲的不是特别对,音视频同步这3篇文章主要是之前看 ffplay.c 的个人记录。这部分内容会优化进去《FFmpeg原理》一书,还在写作中,欢迎关注。