音视频压缩
1.为什么要压缩？
视频压缩标准及比较原始的数字视频信号的数据量是相当惊人的，例如，NTSC图像以大约640X480的分辨率，24bist/象素，每秒30帧的质量传输时，则视频数据有640X480x24X30=221Mb/S或28MB/s秒，显然这样庞大的数据流对大多数传输线路来说是无法承受的，而且也是无法存储的。也就是说连网看视频不行，或则下下来你放到本地上也不行，你试想一下加入放到本地上的话：那2个小时的视频知道有多大不：28M*60*60*2=196G多，谁扛得住。所以要压缩。同样网络传输每秒28MB也没人扛得住啊。
同理音频也是。
2.有什么压缩算法
视频压缩算法：
MPEG一1，MPEG一2和MPEG一4三种标准，由于其标准化、较大的压缩比及较高的画面质量，成为视频压缩系统首选算法。MPEGI是一种压缩比高但图像质量稍差的技术;而MPEGZ技术主要专注于图像质量，压缩比小，因此需要的存储空间就大;MPEG4技术是时下比较流行的技术，使用这种技术可以节省空间、提高图像质量、节省网络传输带宽等优点。
当然还有H.261等视频压缩算法。
音频压缩算法：MPEG I II III压缩算法，MPEG III就是MP3格式的压缩算法了
3.音视频压缩（编码）分为硬件压缩和软件压缩,同样解压缩（解码）也是
硬件压缩时值得所有视频和音频的信号处理和压缩全部由视频卡的高速DSP实现，CPU不用参与，它只是把DSP传过来的固定编码格式压缩过的数据流传入网络或则写入硬盘。利用DSP硬件完成语音压缩算法是语音信号记录与处理的一个强有力手段
软件压缩就不一样了，它把DSP的事情有CPU软件指令的方式来实现，即用软件压缩算法来压缩，然后把压缩过的数据流传入网络或写入硬盘。这样明显慢了。
解码器分为软件解码器.硬件解码器和无线解码器，软件解码器就是我们的播放器用的软件解码算法，硬件解码器最典型的例子就是我们以前用的DVD了。
4.现实工作过程
摄像头的工作原理大致为：景物通过镜头 (LENS) 生成的光学图像投射到图像传感器表面上，然后转为电信号，经过 A/D( 模数转换 ) 转换后变为数字图像信号，再送到数字信号处理芯片 (DSP) 中加工处理，前面都是由硬件完成的。再通过 USB 接口传输到电脑中处理，通过显示器就可以看到图像了。这里是通过软件完成的。是CMOS受到通过镜头的光线照射后，就会产生电荷，然后再通过DSP控制芯片来处理这些信号。
视频：摄像头（DSP）图像捕捉（模数转换），图像处理（压缩编码），然后我们通过上层应用程序调用压缩编码后的数据存入硬盘或则发到网络上。应用程序怎么和摄像头交互呢，它是通过接口的驱动程序的，例如USB摄像头就用USB驱动程序读，或则MINI2440 摄像头使用的是GPIO口来连摄像头，就要用对应的驱动来读就是。
5.压缩算法和压缩格式的区别。
音视频数据使用某种压缩算法后然后使用某种格式进行存储，文件后缀名为某某。例如：ASF格式使用了 MPEG4 的压缩算法压缩，后缀名为.asf.
编码器可以将原始数据压缩存放（使用压缩算法），刚才都是常用的编码格式，还有些专业的编码格式，一般家庭基本不会用到。为了在家用设备或者电脑上重放这些视频和音频则需要用到解码软件，一般称为插件。
视频的播放过程在视频播放过程中, 需要软件来识别各类视频文件封装(即通常所说的'格式'), 将数据'拆封'后, 交由解码芯片去做解码处理, 然后将解码后的数据实现播放. 这个'拆封'和播放的任务, 要由播放软件(播放器)完成. 一般播放器都能识别多种视频封装(即文件格式), 例如, Coreplayer能播放AVI, WMV, MP4等多种格式, RUN播放器能播放rm, rmvb格式的视频. 大家所看到的文件名后缀, 如: MP4, 3GP, WMV, AVI,RM, RMVB等等. 实际上, 这些都是封装类型, 真正的视频格式不是文件名而是文件内的视频编码方案和音频编码放案. 能够播放哪些文件,实际取决于使用了哪个播放器, 以及硬件解码芯片能否识别该文件内的编码方案.
视频格式追求的无非是压缩率和图象质量。