FFM不能封装flv的问题和替代方案SFF

mp4-->ffm-->flv的问题描述
====
flags +global_header
codec:h264+aac
container trans: -codec copy
ffmpeg ts --> flv/ffm OK
remux  ts --> ffm OK
ffmpeg ts --> http:/feed1.ffm 
播放时：
[07:21:02.155] [flv @ 0x1f22e30]Malformed AAC bitstream detected: use audio bitstream filter 'aac_adtstoasc' to fix it ('-bsf:a aac_adtstoasc' option with ffmpeg)
[07:21:02.155] Error writing frame to output for stream 'flv': Invalid data found when processing input


单独视频可以播放:
NoAudio
ffmpeg -re -i xx.ts -map 0:0  -override_ffserver -codec copy  -flags +global_header http://localhost:8090/feed1.ffm


rtsp封装无声音:
sdp.c: AAC with no global headers is currently not supported


1. 在解析配置文件时被初始化:
FFStream stream 和AVFormatContext类似，有
OutputFormat *fmt;
int nb_streams;
AVStream streams[];


2. build_feed_stream, 会write_header,写入文件/tmp/feed1.ffm，
但是这个header有问题：unspecified pixel format
(gdb) p feed->streams[1]->codec->pix_fmt 
$7 = AV_PIX_FMT_NONE


3. 首次接收到数据时，把该数据的codec复制到c->stream->streams[i]->codec。


4. 首次发数据时，把c->stream->fmt/streams复制到c->fmt_ctx, 
然后在fmt_ctx上write_header，写入c->pb_buffer。


remuxing xx.ts --> xx.flv 第4次后:
Malformed AAC bitstream


remuxing xx.mp4 --> xx.flv write_frame:
1. unspecified size, sample format
2. unspecified size
3--20. decoding for stream 0 failed
21之后正常。


remuxing xx.mp4 --> xx.ffm --> xx.flv
missing picture in access unit with size
no frames
unspecified size
ffmpeg xx.mp4 --> xx.ffm --> xx.flv也报错。
ffplay xx.ffm 只有声音，并且也是no frames
ffmpeg xx.mp4 --> xx.flv 正常
remuxing xx.mp4 --> xx.flv 也正常


能不能绕开ffm呢？
像这样
<Stream file.flv>
Format flv
File xx.flv
</Stream>
没有任何报错，可以正常播放。


能不能扩展到实时流呢？
模拟读文件，对于一个新的请求，
要给它发文件头，所以需要缓存文件头。
然后请求包，由于循环缓冲区等原因，会丢包。


remuxing 里面丢几个包试试。
丢前100个包， 可正常播放。
每30个包丢一个，ffplay 没有报错，在那个时间点部分马赛克，其他时间正常播放。


假设用例是这样的：
ffmpeg -i input http://localhost:8090/stream1.flv #只发数据
ffplay http://serverip:8090/stream1.flv #只收数据


ffmpeg为什么要走http?
目的是让ffserver统一管理socket io。
让ffmpeg原封不动的传包， ffserver收到后放到循环缓冲里面。
如果写文件的话，要设计一个ffm类似的文件格式，走老路上了。


收发的文件名一样？
以前不同是因为feed-stream设计是多对一的关系， ffserver要做封包的工作。
现在我们目前只需要一对一的关系，不用重新封包了。


发数据这块，用另外的端口，unix domain socket更好些，但是怎么让
ffmpeg原生地支持:
unix.c 
unix://localhost:port/stream1.flv -timeout 1000 -type datagram


为了让ffserver知道数据大小?
到avio http这一层已经没有包的边界了。
如果在fferver端这样：保留http过来的前面几KB数据作为，剩下的循环缓存。
很可能会导致ffplay卡顿。


换个角度，我们把remuxing的read_frame,write_frame放到不同进程。
甚至让文件头信息也共享，这样就没有边界问题了，且不用转换和传输。


具体做法：
把remuxing.c复制两份，使用共享内存，建立一个固定的循环缓冲。
写端只管写，不用管读端；
读端读指针不能超过写指针。
#define PKT_BUF_SIZE 32
typedef struct{
AVFormatContext *ifmt_ctx;
AVFormatContext *ofmt_ctx;
AVPacket *pkt_buf[PKT_BUF_SIZE];
int wpos, rpos;
}share_data_t;
注意我们里面的很多指针也要在共享空间。
但是怎么 malloc from shared mem?


还有一种方案：
不要write_frame,而是avio_write(pkt);
定义一种所有AVFormat的超级格式.sff:
SFFx size data
x = 0表示循环写位置等元数据信息。
x = 1表示是write_header的内容，size 4个字节是后面data的长度。
x = 2表示后面的数据是AVPacket。
"SFF"本身是同步前缀码。
ffserver接收包要缓存，收到完整的包再输出。


因为ffserver里面读到开始的4096字节就read_header，以为codec就全部找到了。
实际上，从先前的demuxing可以看出，还需要读20个包, find_stream_info才能全部找到。
究竟多少个包才够找全呢？


重新设计配置文件。
先剪掉rtp, 以后再加进来。
Feed也不要
凡是关于codec opt都不要。
现在配置文件也不需要了。 
剩下的需增加两个功能点:
o POST进来的文件名要记录，用它来关联以后的GET的连接。
o GET连接要维护自己的读指针。
o POST连接也有自己的写指针。


部署问题：
o 已经去掉了不需要的，ffserver在我的64bit ubuntu上仍然有4.4MB,
how to make ffmpeg small ?


o http输出不能chunked
设置输入参数:
av_dict_set(&stream->in_opts, "mpeg2ts_compute_pcr", "1", 0);
avformat_open_input(&infile, stream->feed_filename, stream->ifmt, &stream->in_opts)


设置输出参数:
AVDictionary *opts = NULL;
av_dict_set(&of->opts, "chunked_post", "0", 0);
avio_open2(&oc->pb, filename, AVIO_FLAG_WRITE, NULL, &of->opts)

if(s->pb)avio_close(s->pb);
av_dict_free(&of->opts);


o remuxing 异常退出时没有看到ffserver关连接，里面的连接还在。
ffplay ctrl c 中断有， 那说明remuxing没有处理好。
我们处理办法是截获中断信号，avio时会主动查询到会返回AVERROR_EXIT。
其实发现remuxing正常退出，ffserver也没有断开连接，参考原始代码，
把接收长度为零就认为是断开的检查加上后，CLOSE_WAIT就变成正常的TIME_WAIT了。
这种方式，remuxing不用任何改动，就可以处理正常退出和中断退出两种情形。
但是这里有个问题是，remuxing在某种情形下就是不发数据，该怎么兼顾呢？


如果ffserver主动断开ffplay的GET连接，发现ffplay并没有退出，ffplay到ffserver的链路处于CLOSE_WAIT状态。
if(len <= 0)改成if(len < 0) ?
因为POST连接要占用缓存内存也不不小，还是主动断开更好些。
或者heart_beat/timeout/retry_times也可以考虑。


o remuxing 内存占用估计
每次处理一个包都要open_dyn_buf,之后释放掉，能不能只用一个最大的buf呢？
全局avio_open_dyn_buf/avio_close_dyn_buf一次。
每次处理包时，url_resetbuf/存取内部指针。

目前暂不优化，以后如果遇到内存不够时可以考虑这个方案。