0.音视频开发主要包括哪些方面
什么是webRTC
百科解释:
什么是mediasoup
[ https://zhuanlan.zhihu.com/p/33618940]
RTP 协议:[ https://blog.csdn.net/bripengandre/article/details/2238818]
百万级高并发WebRTC流媒体服务器设计与开发
WebRTC笔记:[https://miaopei.github.io/2019/10/12/WebRTC/mediaserver-01/]
摄像头捕获视频原理
透明度算法: http://blog.csdn.net/xhhjin/article/details/6445460
一 V4L2库的使用与原理探讨
用了哪些库 自己写的是哪些部分 可以怎么写
http://blog.chinaunix.net/uid-26851094-id-3270803.html
YUV格式 JPEG/MJPG格式 RGB BMP
获取视频数据流程
二 LCD技术
帧缓冲机制framebuffer:Linux一种底层机制,用以屏蔽不同硬件间的差别,方便显卡驱动的编写
Linux屏幕亮度调节
①一般临时调整屏幕亮度使用这个命令
xbacklight -set 40 #降低屏幕亮度，默认100
也可以使用这个命令，需要root权限
echo 6 > /sys/class/backlight/acpi_video0/brightness #降低屏幕亮度，默认15
如果你的硬件不支持调整亮度的话，可以使用这个命令软调对比度，并非亮度，效果不是很理想
xrandr --output LVDS1 --brightness 0.6 #降低对比度，默认是1
②修改grub以支持Fn调整屏幕亮度'
sudo vi /etc/default/grub
GRUB_CMDLINE_LINUX="acpi_backlight=vendor"
修改好后保存,然后升级gurb
sudo update-grub
然后用一下命令试试能否调节亮度
sudo su echo 500 > /sys/class/backlight/intel_backlight/brightness
如果屏幕亮度发生变化说明成功，最后执行设置fn按键调节
echo 'echo 500 > /sys/class/backlight/intel_backlight/brightness' > /etc/rc.local
二 JPEG加解码
使用步骤:
1.解码准备(定义解码对象jpeg_decompress_struct 出错对象jpeg_error_mgr 申请jpg资源 获取jpg文件的大小 申请内存空间 读取jpg文件所有内容到内存 注册出错处理jpeg_std_error)
2.开始解码实现(创建解码jpeg_create_decompress 直接解码内存数据jpeg_mem_src 读文件头jpeg_read_header 开始解码jpeg_start_decompress 每次读取一行解码数据(rgb值)jpeg_read_scanlines
显示像素点lcd_draw_point(x,y,color);)
3.完成解码 jpeg_finish_decompress jpeg_destroy_decompress 释放资源(取消内存映射 关闭LCD设备)
tslib 输入子系统
使用步骤
重点函数与判断
1.if(EV_ABS == g_ts_event.type)
调用read函数,获取触摸屏输入事件报告 /
count = read(g_ts_fd,&g_ts_event,sizeof(struct input_event));
2./ 检查当前读取的事件报告是否读取完整 */
if(count != sizeof(struct input_event))
{
perror("read error");
return -1;
}
3.延时消抖 触摸校准
三 多媒体开发库SDL
用途:1.输出视频时设置视频模式 创建视频窗口
Alpha像素混合 Blit位块传输 窗口管理 图形渲染
四 FFmpeg
1.ffmpeg与ffplay可能缺少某库文件,libffmpeg.tar.gz文件(ffmpeg与ffplay也要)下载到开板中
①rz传输 ②tar -zxvf libffmpeg.tar.gz ③cd libffmpeg ④cp * /lib/
2.ffmpeg与ffplay命令集合(播放 (格式)转换 录屏 截图 GIF 缩微图 编码 转码解密 调屏)
①播放视频 ffplay -autoexit -fs text.avi
②将一些图片转换为视频(Turn X images to a video sequence)
ffmpeg -f image2 -i image%d.jpg video.mpg
注：This command will transform all the images from the current directory (named
image1.jpg, image2.jpg, etc...) to a video file named video.mpg.
③1把摄像头的实时视频录制下来，存储为文件(仅限Linux平台)
ffmpeg -f video4linux -s 320*240 -r 10 -i /dev/video0 test.asf
[更多信息可参考ffmpeg工程组论坛的讨论贴：有关ffmpeg的视频采集]
③2使用ffmpeg录像屏幕(仅限Linux平台)
ffmpeg -vcodec mpeg4 -b 1000 -r 10 -g 300 -vd x11:0,0 -s 1024x768 ~/test.avi
其中，-vd x11:0,0 指录制所使用的偏移为 x=0 和 y=0，-s 1024×768 指录制视频的大小为 1024
×768。录制的视频文件为 test.avi，将保存到用户主目录中;如果你只想录制一个应用程序窗口或者
桌面上的一个固定区域，那么可以指定偏移位置和区域大小。使用xwininfo -frame命令可以完成查找
上述参数
④截取一张352x240尺寸大小的，格式为jpg的图片
ffmpeg -i test.asf -y -f image2 -t 0.001 -s 352x240 a.jpg
⑤把视频的前30帧转换成一个Animated Gif
ffmpeg -i test.asf -vframes 30 -y -f gif a.gif
⑥截取指定时间的缩微图,-ss后跟的时间单位为秒
ffmpeg -i test.avi -y -f image2 -ss 8 -t 0.001 -s 350x240 test.jpg
⑧转换文件为3GP格式
ffmpeg -y -i test.mpeg -bitexact -vcodec h263 -b 128 -r 15 -s 176x144 -acodec aac -ac
2 -ar 22500 -ab 24 -f 3gp test.3gp
转换文件为3GP格式 v2
ffmpeg -y -i test.wmv -ac 1 -acodec libamr_nb -ar 8000 -ab 12200 -s 176x144 -b 128 -r
15 test.3gp
⑨如何使用 ffmpeg 编码得到高质量的视频
ffmpeg.exe -i "D:\Video\Fearless\Fearless.avi" -target film-dvd -s 720x352 -padtop 64
-padbottom 64 -maxrate 7350000 -b 3700000 -sc_threshold 1000000000 -trellis -cgop -g
12 -bf 2 -qblur 0.3 -qcomp 0.7 -me full -dc 10 -mbd 2 -aspect 16:9 -pass 2 -
passlogfile "D:\Video\ffmpegencode" -an -f mpeg2video "D:\Fearless.m2v"
转换指定格式文件到FLV格式
ffmpeg.exe -i test.mp3 -ab 56 -ar 22050 -b 500 -r 15 -s 320x240 f:\test.flv
ffmpeg.exe -i test.wmv -ab 56 -ar 22050 -b 500 -r 15 -s 320x240 f:\test.flv
转码解密的VOB
ffmpeg -i snatch_1.vob -f avi -vcodec mpeg4 -b 800 -g 300 -bf 2 -acodec mp3 -ab 128
snatch.avi
上面的命令行将vob的文件转化成avi文件，mpeg4的视频和mp3的音频。注意命令中使用了B帧，所以
mpeg4流是divx5兼容的。GOP大小是300意味着29.97帧频下每10秒就有INTRA帧。该映射在音频语言的
DVD转码时候尤其有用。
同时编码到几种格式并且在输入流和输出流之间建立映射
转换wav到mp2格式
ffmpeg -i /tmp/a.wav -ab 64 /tmp/a.mp2 -ab 128 /tmp/b.mp2 -map 0:0 -map 0:0
上面的命令行转换一个64Kbits 的a.wav到128kbits的a.mp2 ‘-map file:index’在输出流的顺序上
定义了哪一路输入流是用于每一个输出流的。
转换文件为3GP格式
ffmpeg -i test.avi -y -b 20 -s sqcif -r 10 -acodec amr_wb -ab 23.85 -ac 1 -ar 16000
test.3gp
注：如果要转换为3GP格式，则ffmpeg在编译时必须加上–enable-amr_nb –enable-amr_wb，详细内
容可参考：转换视频为3GPP格式
转换文件为MP4格式（支持iPhone/iTouch）
ffmpeg -y -i input.wmv -f mp4 -async 1-s 480x320 -acodec libfaac -vcodec libxvid
-qscale 7 -dts_delta_threshold 1 output.mp4
ffmpeg -y -i source_video.avi input -acodec libfaac -ab 128000 -vcodec mpeg4 -b
1200000 -mbd 2 -flags +4mv+trell -aic 2 -cmp 2 -subcmp 2 -s 320x180 -title X
final_video.mp4
将一段音频与一段视频混合
ffmpeg -i son.wav -i video_origine.avi video_finale.mpg
将一段视频转换为DVD格式
ffmpeg -i source_video.avi -target pal-dvd -ps 2000000000 -aspect 16:9
finale_video.mpeg
注：target pal-dvd : Output format ps 2000000000 maximum size for the output file, in
bits (here, 2 Gb) aspect 16:9 : Widescreen
转换一段视频为DivX格式
ffmpeg -i video_origine.avi -s 320x240 -vcodec msmpeg4v2 video_finale.avi
Turn a video to X images（将一个视频转换为帧图片）
注：This command will generate the files named image1.jpg, image2.jpg, ...
The following image formats are also availables : PGM, PPM, PAM, PGMYUV, JPEG, GIF,
PNG, TIFF, SGI.
重新调整视频尺寸大小(仅限Linux平台)
ffmpeg -vcodec mpeg4 -b 1000 -r 10 -g 300 -i ~/test.avi -s 800×600 ~/test-800-600.avi
使用ffmpeg压制H.264视频
ffmpeg -threads 4 -i INPUT -r 29.97 -vcodec libx264 -s 480x272 -flags +loop -cmp
chroma -deblockalpha 0 -deblockbeta 0 -crf 24 -bt 256k -refs 1 -coder 0 -me umh -
me_range 16 -subq 5 -partitions parti4x4+parti8x8+partp8x8 -g 250 -keyint_min 25 -
level 30 -qmin 10 -qmax 51 -trellis 2 -sc_threshold 40 -i_qfactor 0.71 -acodec libfaac
-ab 128k -ar 48000 -ac 2 OUTPUT
注：使用该指令可以压缩出比较清晰，而且文件转小的H.264视频文件
