h.266

H.266/VVC代码学习33：VTM6.0中帧内MIP技术改动

本人所在实验室提出JVET-O0321随联合提案JVET-O0925被接收，而JVET-O0323去掉sW表的方法进入了CE，可见MIP作为新技术可以进行的改动是真的不少。现在，师兄们都逃避责任的跑去暑期实习了，那我也“有幸”能体会一下进入CE后的测数据和改Draft了。近几个月我的研究方向应该也是MIP不变，HHI训练数据的代码也被要求开源也是个好消息，希望下次会议还能有些成果吧~废话不多说，本
海洋之心。·2020-07-08 21:55

H.266/VVC代码学习3：VTM4.0中的CTU层操作（encodeCtus）

学习笔记如下：从H.266/VVC代码学习4：VTM代码整体结构及最上层函数进入，将视频划分为GOP后继续划分为帧，到这里划分成为了CTU，可以说是很小的一部分了了。
海洋之心。·2020-07-08 21:55

H.266/VVC代码学习29：VTM5.0中的PredictorMIP::initPredBlockParams函数

MIP顾名思义就是对矩阵的运算，大体框架可见：H.266/VVC代码学习28：VTM5.0中的MIP技术。进行矩阵的运算就必然要有输入矩阵和输出矩阵，而输入矩阵和输出矩阵分别是哪部分呢？
海洋之心。·2020-07-08 21:55

H.266/VVC代码学习6：VTM4.0中lambda与QP的关系

lambda是率失真优化中的一个重要参数，其取值与量化参数QP有比较固定的函数关系。接下来将深入VTM4.0代码中探究lambda与QP的关系。首先在cfg中可以得到QP值，本文档视为亮度QP，记作QP(Y)；在cfg中还可以得到CbQpOffset和CrQpOffset，供后续计算色度QP，记作QP(C)；亮度lambda和色度lambda由以上两种QP算得，记作lambda(Y)和lambda
海洋之心。·2020-07-08 21:24

H.266/VVC代码学习26：VTM5.0中IntraPrediction类及其相应全局函数

千呼万唤始出来，VTM5.0的rc1版本终于发布了。基于前面VTM4.0中的内容，所有帧内预测的函数都已学习过。今天我们除了看一下VTM5.0中帧内预测的改变，也来关注一下跟C++更相关的东西：IntraPrediction类的定义。文章目录1IntraPrediction类1.1private部分（VTM4.0）VTM5.0改动：1.2protected部分（VTM4.0）VTM5.0改动：1.
海洋之心。·2020-07-08 21:24

H.266/VVC代码学习5：VTM4.0帧内亮度预测代码（estIntraPredLumaQT）

关于帧内亮度预测的过程在之前H.266/VVC代码学习1：帧内预测框架中已简要讲述.主要分为以下几个重要步骤：1.相邻参考像素的获取及滤波；H.266/VVC代码学习22：帧内预测的初始化（initIntraPatternChType
海洋之心。·2020-07-08 21:24

H.266/VVC代码学习23：帧内参考像素及滤波（xFillReferenceSamples，xFilterReferenceSamples，useFilteredIntraRefSamples）

在进行帧内预测前，首先要获取参考像素，并对参考像素进行滤波。1获取参考像素取当前要进行预测块的左一列和右一行，取出两倍宽和高的长度。如果都不存在，则用像素值512填充。参考像素的图可见书P120。如果左下或右上不存在，则用最左下或最右上的参考像素填充左下或右上部分。2参考像素滤波VVC中，除去最左下角和最右上角的参考像素，满足模式相关条件(useFilteredIntraRefSamples)，均
海洋之心。·2020-07-08 21:24

H.266/VVC代码学习1：帧内预测框架（20190528更新VTM5.0）

可参考博客：H.266/VVC代码学习26：VTM5.0中IntraPrediction类及其相应全局函数。
海洋之心。·2020-07-08 21:24

H.266/VVC代码学习22：帧内预测的初始化（initIntraPatternChType）

进行帧内预测之前，首先要初始化，主要进行两个步骤：1.相邻参考像素的获取2.参考像素的滤波这部分详细内容可见：H.266/VVC代码学习23：帧内参考像素及滤波理论部分见万帅书P118-120代码框架如下
海洋之心。·2020-07-08 21:24

H.266/VVC代码学习7：VTM4.0帧内色度预测代码（estIntraPredChromaQT）

关于帧内亮度预测的过程在之前H.266/VVC代码学习1：帧内预测框架中已简要讲述。
海洋之心。·2020-07-08 21:24

H.266/VVC技术学习59：量化

文章目录1简介2QP3RDOQ4DQ6其他1简介量化是视频编码中最主要的失真产生的位置。变换系数为x，经过量化得到一个数值，li就是反量化后的变换系数。这里数值li的值如下：c是变换后的残差值，Qstep是量化步长其与QP的关系如下，f为四舍五入值。2QPQP即量化参数，每增加6，步长增加一倍。HEVC中QP取值0~51，在VVC中，最大QP从51扩展到63。Slice级：亮度和色度的QP不一定相
海洋之心。·2020-07-08 21:23

H.266/VVC技术学习55：熵编码

文章目录1CABAC引擎1.1HEVC的编解码引擎1.2VVC的编解码引擎2变换系数熵编解码2.1普通变换系数的残差编码2.2变换跳过系数的残差编码3系数编码上下文模型1CABAC引擎1.1HEVC的编解码引擎HEVC中的CABAC引擎使用基于表的概率转换过程，（在64个不同的代表性概率状态之间）。在HEVC中，在计算新的range范围之前，将表示编码引擎状态的范围ivlCurrRange量化为4
海洋之心。·2020-07-08 21:23

H.266/VVC技术学习49：双向预测（BCW）

在HEVC中，从两个不同参考帧和/或使用两个不同MV获得的两个预测信号，通过平均操作来生成双向预测信号。在VVC中，双向预测模式不再是简单的平均，而是可以对两个预测信号进行加权平均，权重分别为w/8和(8-w)/8。1核心内容对于CU：P0和P1都是预测出的值，则有以下算式：其中，对于普通RA的w可以取3个值{3,4,5}，对于LD的w可以取5个值：{-2,3,4,5,10}。2解码端权重的获取B
海洋之心。·2020-07-08 21:23

H.266/VVC代码学习45：去块滤波器算法简介（DBF，翻译自JVET-P2002）

去块滤波即DBF，是环路滤波过程的第一个滤波器。VVC中的去块滤波过程与HEVC中的类似。但是，添加了以下修改（见文章目录）。文章目录1滤波强度不再只取决于QP，还依赖于重建平均亮度偏移值2去块化tC表扩展并适应10位视频3引入亮度以4x4块为单位的去方块滤波4亮度使用更强的滤波器5色度使用更强的滤波器6子块边界也要进行滤波7对更小MVD也进行去块滤波决策1滤波强度不再只取决于QP，还依赖于重建平
海洋之心。·2020-07-08 21:23

H.266/VVC技术学习53：Affine相关

文章目录1简介1.1计算方法1.2子块大小2Affinemerge2.1继承Affinemerge候选2.2构造Affinemerge候选2.3零MV候选3AffineAMVP3.1继承AffineAMVP候选3.2构造AffineAMVP候选3.3相邻块的MV候选3.4零MV候选4Affine运动信息存储5PROF5.1步骤5.2限制5.3快速算法1简介Affine表示仿射（Affinemoti
海洋之心。·2020-07-08 21:23

H.266/VVC代码学习2：有关ALF

大体过程如下：1、设置可用的过滤器形状：分两个通道，即亮度通道和色度通道；设置剪裁范围：获取片的剪裁范围；设置CTU启用标志：即确定该CTU是否进行划分。2、首先确定CTU标志是否开启，对启用的部分重建亮度、色度系数，并且将重建YUV值存入临时YUV。得到之前的计算值。之后遍历开启了CTU标志的每个CU块，对每个块都确定其最小的宽高。3、如果这个块对亮度滤波，则进行分类并进行对应的77滤波。对色度
海洋之心。·2020-07-08 21:53

H.266/VVC代码学习61：VTM中deblocking源码阅读

自从找实习以来，很久一阵子没看VTM代码了，一直在文本层面做改动和优化。远程控制实验室电脑时断时续，本机上只有比较老的6.0版本，经过对比发现8.0上的改动也非常小。为了在疫情期间保持读代码的能力，决定入手一个新技术的实现方法。阅读过后感觉，DBF的代码是一个很优化的代码。可以很明确的知道每个函数的具体意义及内外层结构，这也许是被ALF代码虐了一两个月锻炼出来的吧，对于刚接触代码的新手可以从deb
海洋之心。·2020-07-08 21:52

H.266/VVC代码学习40：VTM6.0中ALF的框架代码（ALFProcess）

针对ALF，我去年夏天时看过一阵子，对早期BMS版本的ALF一知半解，可参考：H.266/VVC代码学习2：有关ALF刚刚回归从O2002上看了看最新的ALF，明显感受到了简化，但也很多看不懂了，参考：
海洋之心。·2020-07-08 21:52

H.266/VVC代码学习36：VTM6.0帧间预测主要方式及编码方法

刚一开学就转向inter了，心里还是有点小激动的，虽说又要从零基础开始了！！！本篇博客主要讲一下帧间预测的大体预测方式及主要预测方式的编码方法，算是一周快速入门的总结。文章目录1merge预测1.1SubblockMerge1.2MMVD1.3CIIP1.4Triangle2非merge的inter预测2.1affine2.2smvd2.3amvr3编解码过程3.1merge编码3.2非merge
海洋之心。·2020-07-08 21:51

VVC/H.266代码阅读（VTM8.0）(一. NALU提取)

网上很多大佬对VVC的代码进行过分析，基本都是从编码端入手。考虑到从解码端分析代码，一是更加简单（解码流程无需编码工具和编码参数的择优），二是可以配合Draft文本更好地理解视频编解码的流程（解码端也都包含预测、量化、环路滤波、熵解码等流程），所以我想从解码端入手分析一下VVC大致的流程。等到解码端代码分析完后，可以再从编码端深入分析一下。本文是本系列的第一篇博客，内容是分析解码端将收到的二进制码
Jian_Cao·2020-07-08 18:17

VVC/H.266代码阅读（VTM8.0）(二. non-VCLU解码)

该系列相关博客为：VVC/H.266代码阅读（VTM8.0）(一.NALU提取)VVC/H.266代码阅读（VTM8.0）(二.non-VCLU解码)VVC/H.266代码阅读（VTM8.0）(三.Slice
Jian_Cao·2020-07-08 18:17

VVC/H.266参考软件VTM算法描述 [译]（一. CTU划分部分）

AlgorithmdescriptionforVersatileVideoCodingandTestModel8(VTM8)[译自JVET-Q2002]3.2Partitioning划分3.2.3PartitioningoftheCTUsusingatreestructureCTU的QTMT划分结构InHEVC,aCTUissplitintoCusbyusingaquaternary-treest
Jian_Cao·2020-07-08 18:17

苹果加入AOM联盟 AV1获全主流生态平台支持

苹果选择此时加入AOM，既能享受到开源，免专利费的Codec，还能填补H.266到来前的技术空白期。
LiveVideoStack_·2020-07-08 12:25

H.266 参考软件VTM下载和安装

1、下载安装cmake，下载地址https://cmake.org/。安装后打开控制面板-系统-高级系统设置-环境变量-PATH-编辑-输入cmake.exe的路径即可。2、如果你之前（HEVC）时已经下载好了SVN，直接在桌面点击右键SVNcheckout，出来的界面输入https://jvet.hhi.fraunhofer.de/svn/svn_VVCSoftware_VTM/即可。如果你没有
summerlq·2020-07-08 06:23

经典视频编解码框架理解

（本人原创，欢迎转载，但希望附上原文链接，谢谢）前言经典的视频编解码标准有H.264和HEVC，这两种标准的编码框架（见图1）大致相同，只是其中某几个模块的技术得到了一定的发展，目前在研究的H.266也是基于这个基本框架
shaoyiting·2020-07-08 05:35

VVC/H.266会议提案阅读（一）之JVET-A1001

目录JVET-A1001变换编码1、自适应多核变换（AdaptivemultipleCoretransform）2、二次变换（Secondarytransforms）3、信号相关变换（Signaldependenttransform(SDT)）自适应环路滤波（Adaptiveloopfilter）熵编码（Contextadaptivebinaryarithmeticcoding(CABAC)）1、
虎太郎家的小菜鸡·2020-07-08 00:01

VVC/H.266会议提案阅读（一）之JVET-A1001

目录JVET-A10011、QTBT划分1.1、QTBT块划分结构1.2、RDO选择JVET-A10011、QTBT划分1.1、QTBT块划分结构在QTBT结构的描述中，移除了HEVC中CU、PU、TU的概念，在变换和量化时，不需要继续划分，直接以CU为单位进行。而其支持更灵活的划分形状，能更好地匹配视频数据的局部特征和纹理特征。其中二叉树的划分方式可分为两种：对称水平划分和对称垂直划分，如下图所
虎太郎家的小菜鸡·2020-07-08 00:01

VVC/H.266会议提案阅读（三）之JVET-C1000

目录JVET-C10001、介绍2、JEM23、JEM与HEVC对比JVET-C10001、介绍会议的一个主要目标是审查JEM2会议以来在过渡期间进行的工作。另一个重要的目标是回顾在评估视频压缩技术时为研究新测试视频材料的特性而进行的工作。此外，还审查了输入文件，并计划修改JEM3。2、JEM2JEM2.0的技术有：1、Blockstructure①LargerCodingTreeUnit(upt
虎太郎家的小菜鸡·2020-07-08 00:00

VVC/H.266会议提案阅读（一）之JVET-A1001

目录JVET-A1001最近在学习VVC/H.266，希望记录一下自己的学习过程。自己是菜鸟一枚，目前在研究各个提案，加油学习吧！JVET-A1001A1001是JEM的相关描述。
虎太郎家的小菜鸡·2020-07-08 00:00

H.266学习记录 参考软件VTM下载、编译及网址

H.266学习记录参考软件VTM下载、编译及网址参考链接:JVET官网.下载VTM.配置并编译VTM.编译疑问解答(1).学习以上资料，并操作，自己做了如下记录：下载VTM1.1下载svn->下载VTM
M_CHUN·2020-07-08 00:01

H.266深度信息划分（亮度/色度）

接下来准备针对代码的实现进行一些简要的说明。（其实我已经不做这个方向了，不过还是有一些思路，针对如何通过深度学习优化H266的编码过程，可以参考一下pix2pix，另外，对于这种QTBT的划分方式，在地图搜索里面也可以借鉴使用，例如根据中心点，搜索周围的候选，然后进一步所辖范围，最终达到一个完美的区域候选等。虽然已经不做这个内容，不过学习的过程在于迁移，一个方向的学习迁移到另外的方法，会得到不一样
麻婆豆腐_·2020-07-07 18:50

H.266代码学习：JEM使用方法

之前在HEVC代码学习0：HM使用+码流分析教程中详细介绍了HM使用方法，而H.266参考代码JEM已经成型，因此这里简单介绍下JEM的使用方法。
岳麓吹雪·2020-07-07 13:48

H.266/VVC测试软件VTM

VTM简介JVET于2018年4月10日美国圣地亚哥会议上，为新一代视频编码标准定名为VersatileVideoCoding，正式开启了H.266/VVC的标准化进程。
岳麓吹雪·2020-07-07 13:48

H.266 JEM相对于HEVC HM的改进

参考文献：JEMalgorithmdescriptionediting注意JEM可以看做H.265到H.266的过度阶段参考软件，把很多有效果的算法都收纳进去了，与目前的H.266/VVC是存在很大不同的
岳麓吹雪·2020-07-07 13:48

H.266/VVC已采纳技术

之前总结过H.266JEM相对于H.265/HEVC的改进，JEM可以看做H.265到H.266的过度阶段参考软件，把很多有效果的算法都收纳进去了，与目前的H.266/VVC是存在很大不同的。
岳麓吹雪·2020-07-07 13:48

H.266/VVC中的新特性

所有描述均基于vtm4.0版本，本文主要是翻译JVET-M1002文档编码框架和之前的标准类似，VVC采用基于块结构的混合编码框架，融合了帧内和帧间预测、变化编码和熵编码等模块。如下图：VVC通过块划分将一帧图像划分成许多编码树单元（codingtreeunit，CTU）。一个CTU通过内嵌多类型树的四叉树结构（aquadtreewithnestedmulti-typetreeusingbinar
ljh_shuai·2020-07-07 10:28

H.266/VVC中的帧内子划分（Intra Sub-Partitions，ISP）

ISP(IntraSub-Partitions)编码模式由LIP(Line-BasedIntra)模式改进而来，主要是改正了之前LIP算法存在的一些硬件问题。LIP将亮度帧内预测块划分成一维（1-D）的子块或者行并逐行编码。即一个W×H的块可以被划分成H个(W×1)的横行或者是W个(1×H)的竖行。如下图：但是这样划分存在一些问题：1、划分的子块内样点数小于16（VTM2.0中最小的亮度分量块样点
ljh_shuai·2020-07-07 10:28

H.266/VVC中的帧内预测

67种帧内预测模式为了能够刻画视频中任意边界方向特征，VTM4中的帧内预测角度模式增加到了65种（HEVC角度模式有33种）。如下图所示，新增的角度模式用红色虚线表示。同时planar和DC模式和HEVC仍相同。这些角度模式会被用于各种尺寸块各个分量的帧内预测。同时，在VTM4中，对于非方形的块进行帧内预测时，一些传统的角度预测模式会被自动替换成宽角度帧内预测模式（见后面）。另外，对于DC模式，由
ljh_shuai·2020-07-07 10:28

H.266/VVC VTM阅读8-CodingUnit区域结构

  VTM中常用结构体CodingUnit来表示一个CU，CodingUnit中含有CU相关的各种信息，其中储存CU样点变量的继承关系较为复杂，在此进行一些梳理。1、Position、Size与Area  Position与Size是两个比较基础的结构。Position表示一个区域的位置，其中储存一个坐标点（x、y）和相关的计算函数。Size表示一个区域的大小，储存区域的宽和高。Position和
heweiqiran·2020-07-07 09:31

H.266/VVC VTM阅读9-样点储存结构

  VTM中使用10位比特表示样点，也就是说样点值范围0-1023，因此可以用16位整型数表示一个样点值，VTM中定义了样点值类型Pel。typedefshortint16_t;typedefint16_tPel;  VTM中建立了多种buffer灵活储存各种类型和用途的样点值，此处梳理下VTM中样点储存的部分buffer。1、C++Template简介  模板Template用于将数据类型作为参
heweiqiran·2020-07-07 09:31

H.266/VVC VTM阅读11-构建merge候选列表

  VVC中加入了很多与merge模式相关的帧间技术，例如MMVD、DMVR、GPM等，对merge的候选列表生成方式也进行一些修改。此处记录下VTM中几处与生成merge候选列表相关的代码。1、候选运动模式决策  决策候选模式的过程与决策帧内预测模式有些相似。首先进行粗选，每个候选得到一个cost，然后根据cost对各候选进行排序。然后安装cost从小到大的顺序，进行一定次数的rdo检测，并确认
heweiqiran·2020-07-07 09:31

H.266/VVC VTM阅读6-BCW编码端加速算法

  VVC的BCW提供了多种双向预测权重，编码的需要进行决策。这里记录下文档JVET-N0646中提及的编码端加速算法以及VTM中的部分实现。1、加速算法1.1部分跳过affine运动估计  在不等权重条件下，affine模式部分条件下跳过运动估计。等权重的affine运动估计后，只有affineinter模式是当前最佳模式的情况下进行运动估计才进行其他权重的运动估计。1.2减少low-delay
heweiqiran·2020-07-07 09:31

H.264/AVC, H.265/HEVC, H.266/VVC技术对比整理-帧内预测

1、H.264/AVC帧内预测  H.264帧内模式中，亮度块可以用16x16或4x4的尺寸，色度块只能是8x8（对应亮度16x16）。根据块大小不同，预测模式个数不同。16x16的亮度块和8x8的色度块有4种模式，包括垂直、水平、DC、plane模式，适用于平坦区域。4x4的亮度块适用于细节区域，有9种预测模式，包括垂直、水平、DC和另外6种角度模式。2、H.265/HEVC帧内预测2.1预测模
heweiqiran·2020-07-07 09:01

H.266/VVC VTM阅读10-编码结构CodingStructure

  VTM中cs（CodingStructure）是一个常用的类，含有一个区域内的各种编码信息，例如区域所属位置（帧、片、坐标、大小）、量化参数、各参数集、用于编码端搜索的模式信息，另外cs建立了3个列表，分别储存区域内CU、PU、TU。CS可以描述一个CU的编码信息，也可以描述一帧内所有CU的编码信息，取决于CS描述区域的大小。VTM编码CU时会建立tempCS和bestCS，用于决策最佳模式，
heweiqiran·2020-07-07 09:01

H.266/VVC VTM阅读7-帧内搜索过程

  帧内搜索主要是对预测模式的搜索，此处记录下相关函数。执行帧内模式搜索的函数是IntraSearch::estIntraPredLumaQT()和IntraSearch::estIntraPredChromaQT()，它们都在EncCu::xCheckRDCostIntra()中被调用，用于决策是否使用帧内相关的模式。下面以IntraSearch::estIntraPredLumaQT()为例记
heweiqiran·2020-07-07 09:01

H.264/AVC, H.265/HEVC, H.266/VVC技术对比整理-帧间预测

1、H.264/AVC帧间预测1.1多参考帧  从264开始引用了多参考帧技术，两个方向上各自建立参考帧列表，最多15帧，编码时可以通过运动估计在所有参考帧中搜索匹配块。HEVC和VVC中使用了类似的技术。1.2运动矢量精度  MV描述了块中内容的运动关系，由于实际物体运动是连续的，帧间的运动矢量不一定是整数。为了提高预测精度，264使用了1/4精度运动矢量（色度1/8），因此在运动估计中，需要对
heweiqiran·2020-07-07 09:01

H.266/VVC技术描述_8-LMCS

  VVC在环路滤波前使用了lumamappingwithchromascaling(LMCS)工具，包括两个部分：1、使用分段线性模型对亮度映射。2、基于亮度值对色度分量参考缩放。下图表示了LMCS的结构，黄色块表示进行LMCS计算的块，紫色块表示在映射域(LMCS计算后)进行的模块，无色块表示在非映射域进行的模块。LMCS由一个SPS级flag控制开关。  对于帧间块，运动补偿后的预测值映射到
heweiqiran·2020-07-07 09:00

H.266/VVC技术总结-VTM6各工具性能总结-R0013

1、工具及其简写ToolAbbreviationChromaseparatetreeCSTDependentquantizationDQCross-componentlinearmodelCCLMmultipletransformsetMTSAdaptiveloopfilterALFAffinemotionmodelAFFsubblock-basedtemporalmergingcandidate
heweiqiran·2020-07-07 09:00

H.266/VVC技术描述_10-屏幕内容工具

1、IBC  IBC（Intrablockcopy）针对屏幕内容提出的工具，总体上是为每个CU找到一组匹配的重建块来替代当前块，可以认为是在帧内做运动补偿。亮度和色度块组都是整数精度，使用AMVR时可以在1像素和4像素之间切换。IBC模式是帧内和帧间以外的第三种预测模式，使用在宽高均大于等于64的CU中。  在编码端，编码器对宽或高不大于16的亮度块进行RDcheck，对于非merge模式，首先进
heweiqiran·2020-07-07 09:00

H.266/VVC技术描述_3-帧间预测_1-Affine模式:仿射运动补偿预测

1、仿射运动补偿预测  HEVC中，运动补偿预测MCP仅采用平移运动模型。而在现实世界中，有很多种运动，比如放大/缩小、旋转、透视等不规则运动。在VTM中，采用了基于块的仿射变换运动补偿预测方法。如图所示，通过两个控制点(4参数)或三个控制点运动向量CPMV(6参数)来描述块的仿射运动场MF。  实际上Affine模式使用2组或者3组运动矢量来描述一个块的运动信息，块内每个点的运动矢量可以通过以下
heweiqiran·2020-07-07 09:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他