开发方向·音视频服务

0.音视频开发主要包括哪些方面

什么是webRTC
百科解释:

开发方向·音视频服务_第1张图片
image.png

什么是mediasoup
开发方向·音视频服务_第2张图片
image.png

[ https://zhuanlan.zhihu.com/p/33618940]
RTP 协议:[ https://blog.csdn.net/bripengandre/article/details/2238818]

百万级高并发WebRTC流媒体服务器设计与开发
WebRTC笔记:[https://miaopei.github.io/2019/10/12/WebRTC/mediaserver-01/]

摄像头捕获视频原理

开发方向·音视频服务_第3张图片
Paste_Image.png

透明度算法: http://blog.csdn.net/xhhjin/article/details/6445460

一 V4L2库的使用与原理探讨

用了哪些库 自己写的是哪些部分 可以怎么写
http://blog.chinaunix.net/uid-26851094-id-3270803.html
YUV格式 JPEG/MJPG格式 RGB BMP

开发方向·音视频服务_第4张图片
Paste_Image.png
开发方向·音视频服务_第5张图片
Paste_Image.png

获取视频数据流程

二 LCD技术

帧缓冲机制framebuffer:Linux一种底层机制,用以屏蔽不同硬件间的差别,方便显卡驱动的编写
Linux屏幕亮度调节
①一般临时调整屏幕亮度使用这个命令
xbacklight -set 40 #降低屏幕亮度,默认100
也可以使用这个命令,需要root权限
echo 6 > /sys/class/backlight/acpi_video0/brightness #降低屏幕亮度,默认15
如果你的硬件不支持调整亮度的话,可以使用这个命令软调对比度,并非亮度,效果不是很理想
xrandr --output LVDS1 --brightness 0.6 #降低对比度,默认是1
②修改grub以支持Fn调整屏幕亮度'
sudo vi /etc/default/grub
GRUB_CMDLINE_LINUX="acpi_backlight=vendor"
修改好后保存,然后升级gurb
sudo update-grub
然后用一下命令试试能否调节亮度
sudo su echo 500 > /sys/class/backlight/intel_backlight/brightness
如果屏幕亮度发生变化说明成功,最后执行设置fn按键调节
echo 'echo 500 > /sys/class/backlight/intel_backlight/brightness' > /etc/rc.local

二 JPEG加解码

使用步骤:
1.解码准备(定义解码对象jpeg_decompress_struct 出错对象jpeg_error_mgr 申请jpg资源 获取jpg文件的大小 申请内存空间 读取jpg文件所有内容到内存 注册出错处理jpeg_std_error)
2.开始解码实现(创建解码jpeg_create_decompress 直接解码内存数据jpeg_mem_src 读文件头jpeg_read_header 开始解码jpeg_start_decompress 每次读取一行解码数据(rgb值)jpeg_read_scanlines
显示像素点lcd_draw_point(x,y,color);)
3.完成解码 jpeg_finish_decompress jpeg_destroy_decompress 释放资源(取消内存映射 关闭LCD设备)

tslib 输入子系统

使用步骤
重点函数与判断
1.if(EV_ABS == g_ts_event.type)
调用read函数,获取触摸屏输入事件报告 /
count = read(g_ts_fd,&g_ts_event,sizeof(struct input_event));
2./
检查当前读取的事件报告是否读取完整 */
if(count != sizeof(struct input_event))
{
perror("read error");
return -1;
}
3.延时消抖 触摸校准

三 多媒体开发库SDL

用途:1.输出视频时设置视频模式 创建视频窗口
Alpha像素混合 Blit位块传输 窗口管理 图形渲染

四 FFmpeg

1.ffmpeg与ffplay可能缺少某库文件,libffmpeg.tar.gz文件(ffmpeg与ffplay也要)下载到开板中
①rz传输 ②tar -zxvf libffmpeg.tar.gz ③cd libffmpeg ④cp * /lib/

2.ffmpeg与ffplay命令集合(播放 (格式)转换 录屏 截图 GIF 缩微图 编码 转码解密 调屏)
①播放视频 ffplay -autoexit -fs text.avi

②将一些图片转换为视频(Turn X images to a video sequence)
ffmpeg -f image2 -i image%d.jpg video.mpg
注:This command will transform all the images from the current directory (named

image1.jpg, image2.jpg, etc...) to a video file named video.mpg.

③1把摄像头的实时视频录制下来,存储为文件(仅限Linux平台)
ffmpeg -f video4linux -s 320*240 -r 10 -i /dev/video0 test.asf
[更多信息可参考ffmpeg工程组论坛的讨论贴:有关ffmpeg的视频采集]

③2使用ffmpeg录像屏幕(仅限Linux平台)
ffmpeg -vcodec mpeg4 -b 1000 -r 10 -g 300 -vd x11:0,0 -s 1024x768 ~/test.avi
其中,-vd x11:0,0 指录制所使用的偏移为 x=0 和 y=0,-s 1024×768 指录制视频的大小为 1024

×768。录制的视频文件为 test.avi,将保存到用户主目录中;如果你只想录制一个应用程序窗口或者

桌面上的一个固定区域,那么可以指定偏移位置和区域大小。使用xwininfo -frame命令可以完成查找

上述参数

④截取一张352x240尺寸大小的,格式为jpg的图片
ffmpeg -i test.asf -y -f image2 -t 0.001 -s 352x240 a.jpg

⑤把视频的前30帧转换成一个Animated Gif
ffmpeg -i test.asf -vframes 30 -y -f gif a.gif

⑥截取指定时间的缩微图,-ss后跟的时间单位为秒
ffmpeg -i test.avi -y -f image2 -ss 8 -t 0.001 -s 350x240 test.jpg

⑧转换文件为3GP格式
ffmpeg -y -i test.mpeg -bitexact -vcodec h263 -b 128 -r 15 -s 176x144 -acodec aac -ac

2 -ar 22500 -ab 24 -f 3gp test.3gp
转换文件为3GP格式 v2
ffmpeg -y -i test.wmv -ac 1 -acodec libamr_nb -ar 8000 -ab 12200 -s 176x144 -b 128 -r

15 test.3gp

⑨如何使用 ffmpeg 编码得到高质量的视频
ffmpeg.exe -i "D:\Video\Fearless\Fearless.avi" -target film-dvd -s 720x352 -padtop 64

-padbottom 64 -maxrate 7350000 -b 3700000 -sc_threshold 1000000000 -trellis -cgop -g

12 -bf 2 -qblur 0.3 -qcomp 0.7 -me full -dc 10 -mbd 2 -aspect 16:9 -pass 2 -

passlogfile "D:\Video\ffmpegencode" -an -f mpeg2video "D:\Fearless.m2v"

转换指定格式文件到FLV格式
ffmpeg.exe -i test.mp3 -ab 56 -ar 22050 -b 500 -r 15 -s 320x240 f:\test.flv
ffmpeg.exe -i test.wmv -ab 56 -ar 22050 -b 500 -r 15 -s 320x240 f:\test.flv

转码解密的VOB
ffmpeg -i snatch_1.vob -f avi -vcodec mpeg4 -b 800 -g 300 -bf 2 -acodec mp3 -ab 128

snatch.avi
上面的命令行将vob的文件转化成avi文件,mpeg4的视频和mp3的音频。注意命令中使用了B帧,所以

mpeg4流是divx5兼容的。GOP大小是300意味着29.97帧频下每10秒就有INTRA帧。该映射在音频语言的

DVD转码时候尤其有用。
同时编码到几种格式并且在输入流和输出流之间建立映射

转换wav到mp2格式
ffmpeg -i /tmp/a.wav -ab 64 /tmp/a.mp2 -ab 128 /tmp/b.mp2 -map 0:0 -map 0:0
上面的命令行转换一个64Kbits 的a.wav到128kbits的a.mp2 ‘-map file:index’在输出流的顺序上

定义了哪一路输入流是用于每一个输出流的。

转换文件为3GP格式
ffmpeg -i test.avi -y -b 20 -s sqcif -r 10 -acodec amr_wb -ab 23.85 -ac 1 -ar 16000

test.3gp
注:如果要转换为3GP格式,则ffmpeg在编译时必须加上–enable-amr_nb –enable-amr_wb,详细内

容可参考:转换视频为3GPP格式

转换文件为MP4格式(支持iPhone/iTouch)
ffmpeg -y -i input.wmv -f mp4 -async 1-s 480x320 -acodec libfaac -vcodec libxvid

-qscale 7 -dts_delta_threshold 1 output.mp4

ffmpeg -y -i source_video.avi input -acodec libfaac -ab 128000 -vcodec mpeg4 -b

1200000 -mbd 2 -flags +4mv+trell -aic 2 -cmp 2 -subcmp 2 -s 320x180 -title X

final_video.mp4

将一段音频与一段视频混合
ffmpeg -i son.wav -i video_origine.avi video_finale.mpg

将一段视频转换为DVD格式
ffmpeg -i source_video.avi -target pal-dvd -ps 2000000000 -aspect 16:9

finale_video.mpeg
注:target pal-dvd : Output format ps 2000000000 maximum size for the output file, in

bits (here, 2 Gb) aspect 16:9 : Widescreen

转换一段视频为DivX格式
ffmpeg -i video_origine.avi -s 320x240 -vcodec msmpeg4v2 video_finale.avi

Turn a video to X images(将一个视频转换为帧图片)
注:This command will generate the files named image1.jpg, image2.jpg, ...
The following image formats are also availables : PGM, PPM, PAM, PGMYUV, JPEG, GIF,

PNG, TIFF, SGI.

重新调整视频尺寸大小(仅限Linux平台)
ffmpeg -vcodec mpeg4 -b 1000 -r 10 -g 300 -i ~/test.avi -s 800×600 ~/test-800-600.avi

使用ffmpeg压制H.264视频
ffmpeg -threads 4 -i INPUT -r 29.97 -vcodec libx264 -s 480x272 -flags +loop -cmp

chroma -deblockalpha 0 -deblockbeta 0 -crf 24 -bt 256k -refs 1 -coder 0 -me umh -

me_range 16 -subq 5 -partitions parti4x4+parti8x8+partp8x8 -g 250 -keyint_min 25 -

level 30 -qmin 10 -qmax 51 -trellis 2 -sc_threshold 40 -i_qfactor 0.71 -acodec libfaac

-ab 128k -ar 48000 -ac 2 OUTPUT
注:使用该指令可以压缩出比较清晰,而且文件转小的H.264视频文件

开发方向·音视频服务_第6张图片
【喵叫瘦星人】,一只有温度的寄生兽

你可能感兴趣的:(开发方向·音视频服务)