音视频开发入门学习笔记

2021年4月23日

这是本人在某某网的学习音视频笔记，主要包括音视频的入门和ffmpeg的实战。笔记内容按照上课流程进行排版的，每个人的基础不一样，我只把我自己认为需要记的才会写入笔记；本人五年iOS开发，了解一下~~

1. 【音频基础知识】
2. 【音频采集实战】
3. 【音频编码原理】
4. 【音频编解码实战】
5. 【视频基础知识】
6. 【视频采集实战】
7. 【视频编码原理】
8. 【视频编解码实战】
9. 【RTMP协议和传输】
10. 【搭建流媒体服务器】

会持续更新~~

可以加入QQ交流群一起学习：326144274

其他入门必备知识

【ffmpeg的编译和安装】
【ffmpeg相关命令】
【音视频入门常见问题】

---

Linux基础：

1. 基础命令

    1. ls   显示当前目录的子目录

    2. cd 进入某个目录

    3. pwd 获取当前目录

    4. mkdir 创建文件夹

    5. cp 拷贝一个文件到另外一个地方

    6. rm 删除单个文件  rm -rf 循环删除 子目录

    7. sudo 使用管理员身份 操作

    8. pkg-config  链接 C/C++ 库

    9. echo 写数据到一个文件  如果没有这个文件 就创建  如： echo "dada"  test.txt

    10. cat 查看文件内容

    11. which  获取某个环境变量的目录地址

    12. | grep 查找某个命令的详情

2. vim基本命令   
    - 详细命令地址： https://www.runoob.com/linux/linux-vim.html 
    - vim 分为命令模式和编辑模式，默认是命令模式通过i/a切换到编辑模式，按退出键就从编辑模式切换到命令模式；
    1. :w 保存
    2. :q 退出 保存并退出 :wq
    3. i/a  编辑文件 i表示在光标之后插入字符，a表示在光标之前插入字符；
    4. h 光标左移 j 上移 k 下移 L 右移   
    5. 拷贝 yy（拷贝一行）/yw（拷贝一个词）
    6. 粘贴 p
    7. 删除 dd（删除一行）/ dw （删除一个词）
    8. 跳到文件头 gg  文件尾 GG
    9. 移动到行首 ^ 行尾 $
    10. 按单词移动：向前w/2w/3w/...  向后b/2b/3b/...
    11. 查找 /关键字...
    12. 查找与替换 %/关键字/替换字/gc(g表示一行中多次搜索关键字c表示替换时需要经过确认)  %表示查找整个文件，也可以使用行业限制查找区域如1,10;
        在查找通过n跳到下一个查找结果，N 跳回到上一个查找结果;
    13. 显示行号  set number
    14. 多窗口模式 split（水平分窗口） / vsplit（垂直切分窗口）
          窗口跳转  ctrl + ww / w[hjkl]
          放大某一个窗口  ctrl + w + -/|  ，恢复： ctrl + w + =
          关闭窗口 close
    15. 设置代码关键字高亮  : syntax on

3. linux中的环境变量 
    mac中环境变量的地址：~/.bash_profile 使用source命令使环境变量生效；
    pkg-config命令 直接获取PKG_CONFIG_PATH环境中的地址去查找.pc文件 如：pkg-config --libs --cflags 库名  其中--libs指库的地址  --cflags库的头文件 
    详细了解地址：https://www.cnblogs.com/sddai/p/10266624.html
    1. PATH 可执行的二进制文件，添加进去后可以作为命令调用

    2. PKG_CONFIG_PATH   用于放置.pc库，同LD_LIBRARY_PATH

    3. LD_LIBARARY_PATH  用于放置.so库，如果自己安装的.so库不在/usr/lib:/usr/lib64:/lib:/lib64:/usr/local/lib:/usr/local/lib64下， 则需要加到该环境变量中，系统才能调用到该库 

2. vim编辑时的常用设置，将以下以内容编辑到~/.vimrc文件中;

“去掉讨厌的有关vi一致性模式，避免以前版本的一些bug和局限
set nocompatible

“显示行号
set number

“检测文件的类型
filetype on

“记录历史的行数
  set history=1000

“背景使用黑色
set background=dark

“语法高亮度显示
syntax on

“下面两行在进行编写代码时，在格式对起上很有用；
“第一行，vim使用自动对起，也就是把当前行的对起格式应用到下一行；
“第二行，依据上面的对起格式，智能的选择对起方式，对于类似C语言编
“写上很有用
set autoindent
set smartindent

“第一行设置tab键为4个空格，第二行设置当行之间交错时使用4个空格
set tabstop=4
set shiftwidth=4

“设置匹配模式，类似当输入一个左括号时会匹配相应的那个右括号
set showmatch

“去除vim的GUI版本中的toolbar
set guioptions-=T

“当vim进行编辑时，如果命令错误，会发出一个响声，该设置去掉响声
set vb t_vb=

“在编辑过程中，在右下角显示光标位置的状态行
set ruler

“默认情况下，寻找匹配是高亮度显示的，该设置关闭高亮显示
set nohls

“查询时非常方便，如要查找book单词，当输入到/b时，会自动找到第一
“个b开头的单词，当输入到/bo时，会自动找到第一个bo开头的单词，依
“次类推，进行查找时，使用此设置会快速找到答案，当你找要匹配的单词
“时，别忘记回车
set incsearch

“修改一个文件后，自动进行备份，备份的文件名为原文件名加“~“后缀
if has(“vms”)
   set nobackup
else
   set backup
endif

C语言基础：

1. 指针 可以对指针进行操作 也可以获取指针指向的内容进行操作 获取指针的内容 *变量名  

2. 堆内存的分配和释放

    1. 内存分配  void *v = malloc(size)  malloc属于”stdlib“库;

    2. 内存释放  free(v) v = NULL;


3. C语言的一些较难的使用

    1. 函数指针  声明写法：返回值类型 (*函数指针变量名) (形参列表)  面向对象中的多态实际上就是用的函数指针实现的，还有iOS开发中的runtime中的message_invoke和message_send方法也是使用的函数指针进行发消息的；

    2. 文件操作

        1. FILE *file 

         2. 打开文件 FILE* fopen(path, mode)其中mode w == write r == read ; 

         3. 写文件  fwrite(字符串指针,每个字符的大小,总大小,FILE);

         4. 读文件  fread(buffer,每个字符的大小,总大小,FILE);

         5. 关闭文件 fclose(FILE);

http://img.mukewang.com/szimg/60826de709a1312a12181172.jpg

C 的编译与执行

1. 编译： gcc/clang -g(debug模式) -o（指定输出的可执行文件名称） bin xxx.c;

   
   
   image.png

• -i. -L. (点表示当前目录) -l(省略lib的库名)
• pkg-config ---cflags --libs ...可以替代 -i -L -l

2. 生成静态库

• 将c文件编译成.o文件：clang -g -c c文件名.c
• libtool - static -o libLIBNAME.a c文件名.o

3. 链接分为静态链接和动态链接，静态链接是会把相关的静态库添加到程序，动态链接是在运行时，去共享区，调用访问的动态库；

4. 调试器

   
   
   调试器原理

调试命令

将可执行程序加载到调试器：lldb exe ，加载到调试器后会在同级目录生成一个dsym文件；
查看调试信息文件：dwarfdump 调试信息文件（在dsym下面）

5. 执行： ./可执行文件名

音视频处理流程：

1. 直播客户端的处理流程

    1. 音视频采集 

    2. 音视频编码： 有损编码  无损编码

    3. 传输到观看端 - 解码-渲染

2. 音频数据的流转

    1. 将采集到模拟信号转成数字信号，数据的格式一般为PCM；

    2. 压缩 编码为 例：aac/mp3 等；

    3. 生成多媒体文件，相当于再从外面套个套，相当于穿了个马甲，就是平常所用到的格式 如： MP4/flv，这个马甲也可以自己定义;
   
    4. 解码：就先确定格式，脱掉马甲拿到压缩数据进行解码，还原成pcm就能在观看端进行播放了；