H.264: H.264/AVC项目的目的是为了创建一个比以前的视频压缩标准,在更低的比特率的情况下依然能够提供良好视频质量的标准(如,一半或者更少于MPEG-2,H.263,或者MPEG-4 Part2 )。同时,还要不会太大的增加设计的复杂性。
优势:
1)网络亲和性,即可适用于各种传输网络
2)高的视频压缩比,当初提出的指标是比 H.263,MPEG-4,约为它们的 2 倍,现在都已基 实现;
编码流程:
那么 H.264 其编解码流程是怎么样的呢?其实可以主要分为 5 部分: 帧间和帧内预测(Estimation)、变换(Transform)和反变换、量化(Quantization)和反量化、环路滤波(Loop Filter)、熵编码(Entropy Coding)。
帧间和帧内预测(Estimation)、变换(Transform)和反变换、量化(Quantization)和反量化、环路滤波(Loop Filter)、熵编码(Entropy Coding)。差对这几块这感性认知。
想了解更多,可参考下面的书籍链接:
新一代视频压缩编码标准H.264.pdf
http://read.pudn.com/downloads147/ebook/635957/%E6%96%B0%E4%B8%80%E4%BB%A3%E8%A7%86%E9%A2%91%E5%8E%8B%E7%BC%A9%E7%BC%96%E7%A0%81%E6%A0%87%E5%87%86H.264.pdf
H.264官方文档:
https://github.com/jiayayao/DataSheet/blob/master/encode-decode/h264/51CTO%E4%B8%8B%E8%BD%BD-h264%E4%B8%AD%E6%96%87%E5%8D%8F%E8%AE%AE(%E4%B8%AD%E8%8B%B1%E6%96%87%E5%AF%B9%E7%85%A7)H264%E8%A7%A3%E7%A0%81%E6%89%8B%E5%86%8C.pdf
HEVC编码技术承袭现有的H.264编码技术,包含帧内预测(intra prediction)、帧间预测(inter prediction)、转换(transform)、量化(quantization)、去区块滤波器(deblocking filter)、熵编码(entropy coding)等模块,全新HEVC编码技术为提升压缩率,将这些模块整合成3个单元,分别是编码单元(coding unit,CU)、预测单位(predict unit,PU) 和转换单位(transform unit,TU)。
H.264编码技术的编码单位,每个宏块固定为16×16像素,而HEVC编码技术的编码单位较为灵活,最小可以实现8×8像素编码,最大可以实现64×64像素编码。H.264帧内预测模式支持8种方向调节,而HEVC帧内预测模式支持多达33种方向调节,且提供比H.264编码技术更好的矢量预测计算方法和动态补偿处理效果。
HEVC全新的编码方式有效提升了视频压缩率,仅需原先的一半带宽即可播放相同质量的视频。众所周知,视频编码的码率是可以灵活控制的,以相同的视频质量为基准,HEVC编码技术相比H.264编码技术能够在视频容量减少大约39~74%,并且还能获得比H.264视频更好的信噪比(PSNR)效果。如此惊艳的表现势必巅峰整个显示产业。
具体可参考书籍:
H.265/HEVC――视频编码新标准及其扩展
https://item.jd.com/11970734.html
硬解
硬解是硬件解码的简称。简单而言,硬件解码就是通过显卡的视频加速功能对高清视频进行解码。
硬件码优势:更加省电,适合长时间的移动端视频播放器和直播,手机电池有限的情况下,使用硬件解码会更加好。减少CPU的占用,可以把CUP让给别的线程使用,有利于手机的流畅度。
软解
软解即软件解码,常规地直接用CPU解码会极大地消耗CPU的运算能力。
软解码优势:具有更好的适应性,软件解码主要是会占用CUP的运行,软解不考虑社备的硬件解码支持情况,有CPU就可以使用了,但是占用了更多的CUP那就意味着很耗费性能,很耗电,在设备电量充足的情况下,或者设备硬件解码支持不足的情况下使用软件解码更加好!
硬解能够将CPU从繁重的视频解码运算中释放出来,使电脑具备流畅播放高清视频的能力。显卡的GPU/VPU要比CPU更适合这类大数据量的、低难度的重复工作。视频解码工作从处理器那里分离出来,交给显卡去做,这就叫做“硬解码”,例如NVIDIA的PureVideo、AMD的UVD技术等等。与之对应的,以前那种纯粹依靠CPU来的方式则是“软解码”。不过受到技术条件的限制,纯粹的“硬解码”在现阶段是不存在的,CPU依然在发挥一部分作用,只不过硬解码时GPU/VPU已经成为运算的主力。
Android怎么支持硬解硬编?
在Android中使用硬件解码直接使用MediaCodec就可以了,虽然MediaPlayer也是硬件解码,但是被封装得太死了,支持的协议很少。而MediaCodec就很好拓展,我们可以根据流媒体的协议和设备硬件本身来自定义硬件解码,代表播放器就是Google的ExoPlayer。
软解码:即通过软件让CPU来对视频进行解码处理,就是通过CPU来运行视频编解码代码,我们最最常见的视频软解码开源看就是FFmpeg。
以上我们从ijkplayer的源码实现中也可以查到的。
支持h265的硬解和软解
考虑硬解的兼容性问题
Android NDK MediaCodec在ijkplayer中的实践
https://www.cnblogs.com/jukan/p/9845673.html
优点:
1.面向未来,更好的压缩比,在带宽降低的同时也可以保证情绪度
2.降低带宽成本,HEVC编码方式仅需原先的一半带宽即可播放相同质量的视频(这个数字并不是准确的)
3.目前大多数电视产品都已经具备了4K分辨率,甚至最接近人眼极限的8K电视都已经问世。不过遗憾的是,我们能够看到的4K内容仍然非常稀少,就更不要说8K分辨率的影片了。然而蓝光标准的发布奠定了1080P旷日持久的影响力,而4K视频想要有所作为,蓝光4K标准是极为重要的助推器。如果说H.264编码技术为1080p而生,那么HEVC编码技术则为蓝光4K而生。
缺点:
1.Android设备硬解h265的兼容性问题
2.云端视频格式转换成本
3.编解码效率等
以上的学习,都是来自于网络blog,具体结论等等还需要自己亲身的实践才行。不过整体上来说,h265是面向未来的技术,最好选择硬编硬解播放。是非常有必要去做和推进的。
h264
H264 NALU结构
https://www.oipapio.com/cn/article-199122
深入浅出理解视频编码 H264 结构(内涵福利)
https://juejin.im/entry/5833dc86570c35006c22cfb1
H264 编解码协议详解
https://blog.csdn.net/qq_19923217/article/details/83348095
H264编码总结(这篇文章最全面)
https://www.jianshu.com/p/0c296b05ef2a
H264基本原理
https://www.jianshu.com/p/97b4dc8c7f00
h265
虎牙直播首推h265直播
http://www.game234.com/yxrd/20180720/3348967.html
H.265(HEVC)深度解析
https://blog.csdn.net/xiaojun111111/article/details/61199130
初识HEVC/H.265
https://blog.csdn.net/subfate/article/details/48243307
H265码流结构分析
https://blog.csdn.net/u011003120/article/details/83411445
HEVC初探 H.265 vs H.264
https://blog.csdn.net/deliapu/article/details/76267720
H265编码等级以及图像的基础知识
https://www.cnblogs.com/agui125/p/10071320.html
【求教】HEVC / H265 / 4K 究竟是什麼(求掃盲)
http://www.oursilu.com/thread-1226420-1-1.html
复旦大学研究团队发布全球首款开源H.265 Video Encoder IP Core
https://forum.mianbaoban.cn/topic/9018_1_1.html
说出来你可能不信!华为竟是8K技术大佬
https://www.jd.com/phb/zhishi/8f6a69e23454fabc.html
MP4/RMVB/MKV/AVI 等,这些视频格式与编码压缩标准 mpeg4,H.264.H.265 等有什么关系?
http://wd.znds.com/21593.html
4K/8K视频主力H.265编码技术解析!(超级详细)
https://www.4k123.com/thread-6369-1-1.html
关于HEVC/H.265编码的研究
https://www.jianshu.com/p/c53a28489696
H.264和H.265(HEVC)深度解析及对比
https://blog.csdn.net/weixin_42229404/article/details/84639538
硬编码&软编码
Android硬解码与软解码
https://www.jianshu.com/p/e9a5e1fe2ad8
Android视频滤镜添加硬解码方案
https://blog.csdn.net/u010029439/article/details/89494531
性能测试工具 硬解码优势明显!8 款视频类 APP 解码评测报告
https://www.cnblogs.com/jukan/p/9845673.html
手机视频解码的两种方式
https://www.iteye.com/blog/sharley-2369664
IJKPlayer相关指南
https://superdanny.link/2017/05/09/iOS-IJKPlayer/
微信团队分享:微信Android版小视频编码填过的那些坑
https://zhuanlan.zhihu.com/p/30618883
Android 硬编硬解退坑指南
https://juejin.im/entry/5b8a5df2f265da431f3727ca