本系列 以 ffmpeg4.4 源码为准。本文主要讲解 ffplay 的 RTMP 协议解析,播放。本文使用的命令如下:
ffplay -i rtmp://192.168.0.122/live/livestream
先按照之前的博客的教程 配置好 window 10 qt creator + msvc 的调试环境。必须是 msvc ,mingw不行,mingw无法debug 进去 ffmpeg的动态库。本博客暂时没有具体的教程讲解如何 移植 ffplay.c 到 qt msvc 环境,具体可以参考《FFplay源码分析-环境搭建》 跟ffmpeg.c 的 msvc移植教程 《ffmpeg-qt-msvc移植调试》。ffmpeg.c 跟 ffplay.c 的移植大同小异。
从之前的文章知道,RTMP的播放,跟本地文件的播放在 API 使用上,没有多大区别,都是 调 av_read_frame()
就能拿到一个 AVPacket
,所以需要首先了解一下 av_read_frame()
的内部实现。在 ffplay.c 的 av_read_frame()
打一个断点,然后 step into 跳进去,因为是 msvc 环境,所以可以跳进去动态库的实现代码。如下图:
发现,windows 的环境并不是那么的美好,很多变量都是 not accessible,看不到具体的数据,所以咱们还是切换到 ubuntu 18的 clion环境进行调试。请阅读 《FFmpeg,Fplay,clion调试环境搭建》
首先提一个问题,ffplay 播放 RTMP 流的时候,肯定需要通过TCP去连接 服务器,然后做 RTMP 握手,协商交互等操作。那 ffpaly 是什么时候跟服务器建立 RTMP 连接的呢?带着这个疑问,开始研究。
猜测在 avformat_open_input()
函数里面,所以在这个函数的入口打个断点,经过研究 avformat_open_input()
函数的流程图如下:
上图主要有以下重点:
重点一: avformat_open_input()
这个函数有两种传参方式。
filename
不为 NULL,这种情况就是 字符串传参,然后他内部判断是什么类似的输入流,MP4,FLV,还是 RTMP,AVInputFormat
不为 NULL,这种指定格式传参。
filename
字符串传参方式,ffmpeg 内部会读取一部分音视频数据来判断是什么类型,对于 RTMP 输入,就会建立RTMP链接,读取一些数据。
不过两种传参方式在效率上没有太大的区别,虽然字符串传参,会读取数据,但是,这些数据会缓存下来 给 av_read_frame()
函数实现,并不是探测完输入流类型就丢弃了。
不过还是有点区别,如果你指定了 AVInputFormat
,ffmpeg 内部会少执行很多判断,因为他内部会把 大部分的 格式都遍历一遍。所以 指定 AVInputFormat
可以加快程序运行速度。
av_probe_input_format3()
并没有开始建立 RTMP 链接,只是做一下字符串匹配,看看能不能找到 对应的 AVInputFormat
,本文的命令没有找到。所以代码会继续往下走,去探测找到 对应的 AVInputFormat
,
重点二:ffio_open_whitelist()
为什么有白名单?
这个是 ffmpeg 提供了协议扩展的功能,如果你想用 ffplay 支持一个新的网络协议,除了你要写一个跟 RTMP 类似的模块加进去之外,还要 使用 -protocol_whitelist
命令行参数 把这个协议加进去。
重点三:默认是 探测 AVPROBE_PADDING_SIZE (32字节) 这么多音视频数据,也就是 RTMP 包的 body 数据加起来达到这个数字就停止探测。代码如下:
可以通过命令行参数 -probesize 80
设置探测的数据大小。有时候某些情况,需要更大的数据才能猜到输入流是什么类型。
从上图代码可以看到 函数 init_input()
的注释如下:
/* Open input file and probe the format if necessary. */
static int init_input(AVFormatContext *s, const char *filename,
AVDictionary **options)
FFmpeg 项目的注释是非常完善的,任何一个函数,你看下他的注释,debug一下,就能搞懂这个函数主要在干什么。
最后就是 流程图的最后一个节点,也就是 rtmp_open()
。
uc->prot->url_open2()
就是 rtmp_open()
,ffmpeg 的多态模块隔离实现,经常是使用这种函数指针的方式实现的。后续会写一篇文章,讲解如何在 FFmpeg 4.4 的基础上加一个新的传输协议。可以在博客搜索《FFmpeg 传输协议实现》。
现在已经找到 RTMP 建立链接的入口,下一篇文章主要讲解 ffpaly RTMP 的具体实现。
由于笔者的水平有限, 加之编写的同时还要参与开发工作,文中难免会出现一些错误或者不准确的地方,恳请读者批评指正。如果读者有任何宝贵意见,或者希望交流音视频技术的,可以加我微信 Loken1。