chenchong_219
chenchong_219

视频编解码学习之三：变换，量化与熵编码

视频编解码学习之三：变换，量化与熵编码

第6章 变换编码

1. 变换编码

  • 变换编码的目的
    • 去除空间信号的相关性
    • 将空间信号的能力集中到频域的一小部分低频系数上
    • 能量小的系数可通过量化去除，而不会严重影响重构图像的质量
  • 块变换和全局变换
    • 块变换：离散余弦变换(Discrete Cosine Transform，DCT)，4x4，8x8，16x16
    • 全局变换：小波变换(Wavelet)
  • 变换的能量集中特性
    • DCT编码

2. 变换类型

  • K-L变换
  • 傅里叶变换
  • 余弦变换
  • 小波变换

3. KL变换

  • 最优变换
  • 基函数根据具体图像而确定
  • 没有快速算法
  • 实际中很少使用
    • 复杂度极高

视频编解码学习之三：变换，量化与熵编码_第1张图片视频编解码学习之三：变换，量化与熵编码_第2张图片视频编解码学习之三：变换，量化与熵编码_第3张图片视频编解码学习之三：变换，量化与熵编码_第4张图片

视频编解码学习之三：变换，量化与熵编码_第5张图片

  • K-L变换非常复杂度很高，不实用
    • 需要计算协方差矩阵U
    • 需要计算特征向量
    • 需要发送 到解码器

4. 离散傅立叶变换

视频编解码学习之三：变换，量化与熵编码_第6张图片

5. 离散傅立叶变换性质

视频编解码学习之三：变换，量化与熵编码_第7张图片

视频编解码学习之三：变换，量化与熵编码_第8张图片

6. 离散余弦变换

  • 比K-L变换，傅里叶变换的复杂度更低
  • 变换性能仅次于K-L变换
  • 有快速算法可以加快变换速度
  • 可以用整数变换进一步降低复杂度

视频编解码学习之三：变换，量化与熵编码_第9张图片

视频编解码学习之三：变换，量化与熵编码_第10张图片

视频编解码学习之三：变换，量化与熵编码_第11张图片

7. DCT与DFT的关系

视频编解码学习之三：变换，量化与熵编码_第12张图片

8. 离散余弦变换的重要性质

视频编解码学习之三：变换，量化与熵编码_第13张图片

视频编解码学习之三：变换，量化与熵编码_第14张图片

视频编解码学习之三：变换，量化与熵编码_第15张图片

视频编解码学习之三：变换，量化与熵编码_第16张图片

视频编解码学习之三：变换，量化与熵编码_第17张图片

 

9. 快速DCT变换

视频编解码学习之三：变换，量化与熵编码_第18张图片

视频编解码学习之三：变换，量化与熵编码_第19张图片

下图是一个动态展示：

 

视频编解码学习之三：变换，量化与熵编码_第20张图片

视频编解码学习之三：变换，量化与熵编码_第21张图片

视频编解码学习之三：变换，量化与熵编码_第22张图片

 

10. 整数离散余弦变换

  • 离散余弦变换为浮点操作
    • 需要64位精度
    • 浮点计算复杂度高
    • 变换精度高
  • 整数变换：离散余弦变换的整数近似
    • 需要更少的位宽
    • 整数计算复杂度低
    • 好的整数变换的变换精度接近浮点变换
  • 浮点近似方法

视频编解码学习之三：变换，量化与熵编码_第23张图片视频编解码学习之三：变换，量化与熵编码_第24张图片

视频编解码学习之三：变换，量化与熵编码_第25张图片

11. H.264的4x4整数变换

视频编解码学习之三：变换，量化与熵编码_第26张图片

视频编解码学习之三：变换，量化与熵编码_第27张图片

视频编解码学习之三：变换，量化与熵编码_第28张图片视频编解码学习之三：变换，量化与熵编码_第29张图片

视频编解码学习之三：变换，量化与熵编码_第30张图片视频编解码学习之三：变换，量化与熵编码_第31张图片

12. 小波变换

  • 新的变换方法
  • 避免由于块编码带来的块效应
  • 更适合视频空间可分级编码

 

第7章 量化

1. 量化Quantization

  • 用更小的集合表示更大的集合的过程
    • 对信号源的有限近似
    • 有损过程
    • 应用
      • A/D转换
      • 压缩
    • 量化方法
      • 标量(Scalar)量化
      • 矢量(Vector)量化

2. 量化的基本思想

  • 映射一个输入间隔到一个整数
  • 减少信源编码的bit
  • 一般情况重构值与输入值不同

3. 量化模型

视频编解码学习之三：变换，量化与熵编码_第32张图片

4. 量化的率失真优化

  • 量化器设计问题
    • 量化水平的个数，即Bin的个数
    • 决策边界：Bin的边界
    • 重构水平
  • 量化器设计是对率失真的优化
    • 为了减少码率的大小，需要减少Bin的个数
    • Bin的个数减少导致重构的误差增大，失真也就随着增大

视频编解码学习之三：变换，量化与熵编码_第33张图片

5. 失真测量

视频编解码学习之三：变换，量化与熵编码_第34张图片

6. 量化器设计

  • 量化器设计的两个方面
    • 给定量化水平数目M，找到决策边界xi和重构水平 使MSE最小
    • 给定失真限制D，找到量化水平数目M，决策边界xi和重构水平yi使MSE<=D

7. 均匀量化（Uniform Quantization）

视频编解码学习之三：变换，量化与熵编码_第35张图片

视频编解码学习之三：变换，量化与熵编码_第36张图片

8. 量化与峰值信噪比

视频编解码学习之三：变换，量化与熵编码_第37张图片

9. 中升量化器（Midrise Quantizer）

10. 中平量化器（Midtread Quantizer）

视频编解码学习之三：变换，量化与熵编码_第38张图片

11. 死区量化器（Deadzone Quantizer）

视频编解码学习之三：变换，量化与熵编码_第39张图片

12．非均匀量化（Non-uniform Quantization）

  • 如果信源不是均匀分布的，采用均匀量化不是最优的
  • 对于非均匀量化，为了减少MSE，当概率密度函数fX(x)高时，使Bin的量化步长减小，当概率密度函数fX(x)低时， 使Bin的量化步长增加。

视频编解码学习之三：变换，量化与熵编码_第40张图片

13. 最优的标量量化

视频编解码学习之三：变换，量化与熵编码_第41张图片

视频编解码学习之三：变换，量化与熵编码_第42张图片

14. 量化编码

  • 定长编码量化水平
    • 使用等长的码字编码每个量化水平，码字长为：
  • 熵编码量化水平
    • 根据量化水平的概率分布情况，用变长的码字编码每个量化水平
    • 平均码字长
    • 比定长编码量化水平效率高
    • 广泛应用在图像和视频编码中

15. 矢量量化

  • 标量量化：对数据一个一个的进行量化，称为标量量化。
  • 矢量量化：将数据分组，每组K个数据构成K维矢量，再以矢量为处理单元进行量化。
    • 矢量量化是标量量化的多维扩展
    • 标量量化是矢量量化的特殊情况
  • 矢量量化工作过程

视频编解码学习之三：变换，量化与熵编码_第43张图片视频编解码学习之三：变换，量化与熵编码_第44张图片

  • 二维矢量量化

视频编解码学习之三：变换，量化与熵编码_第45张图片

  • 矢量量化优点
    • 只传码字的下标，编码效率高
    • 在相同码率下，比标量量化失真小
    • 在相同失真下，比标量量化码率低
  • 矢量量化缺点：复杂度随着维数的增加呈指数增加

 

第8章 熵编码

1. 熵编码

  • 熵（Entropy）：信源的平均信息量，更精确的描述为表示信源所有符号包含信息的平均比特数
    • 信源编码要尽可能的减少信源的冗余，使之接近熵
    • 用更少的比特传递更多的信源信息
  • 熵编码：数据压缩中根据信源消息的概率模型使消息的熵最小化
    • 无损压缩
    • 变长编码

2. 熵

  • 信息量：

单位：比特

  • 熵：

单位：比特/符号

视频编解码学习之三：变换，量化与熵编码_第46张图片视频编解码学习之三：变换，量化与熵编码_第47张图片

3. 定长编码

视频编解码学习之三：变换，量化与熵编码_第48张图片

4. 变长编码

  • 变长编码：用不同的比特数表示每一个符号
    • 为频繁发生的符号分配短码字
    • 为很少发生的符号分配长码字
    • 比定长编码有更高的效率
  • 常用的变长编码
    • Huffman编码
    • 算术编码

5. Huffman编码

  • 前缀码：任何码字不是其它码字的前缀
    • 如果011为一个有效码字，则0，1，01，11必不是有效码字
    • 不会引起解码歧义
  • Huffman：
    • 二叉树
    • 树节点:表示符号或符号组合
    • 分支:两个分支一个表示"0"，另一个表示"1"

视频编解码学习之三：变换，量化与熵编码_第49张图片

视频编解码学习之三：变换，量化与熵编码_第50张图片

  • Huffman的不唯一性
    • 每次分支有两种选择：0，1

      视频编解码学习之三：变换，量化与熵编码_第51张图片

    • 相同的概率产生不同的组合

      视频编解码学习之三：变换，量化与熵编码_第52张图片

  • 缺点：
    • 数据的概率变化难于实时统计
    • Huffman树需要编码传输给解码器
    • 只有在p(xi)=1/2ki 时是最优编码
    • 最小码字长度为1比特/符号
  • 如果有二值信源，其两个符号的概率相差很大
    • 例如：p(1)=0.0625，p(0)=0.9375则H=0.3373比特/符号，Huffman编码平均码长=1比特/符号
    • 两个符号联合编码有更高效率

6. 扩展Huffman编码

视频编解码学习之三：变换，量化与熵编码_第53张图片

7. 范式Huffman编码

  • 范式Huffman树的建立规则
    • 节点左支设为0，右支设为1
    • 树的深度从左至右增加
    • 每个符号被放在最先满足的叶子节点

视频编解码学习之三：变换，量化与熵编码_第54张图片

  • 特性
    • 第一个码字是一串0
    • 相同长度的码字的值是连续的
    • 如果所有的码字通过在低位补0的方式，使所有码字的长度相同则有 0000<0100<1000<1010<1100<1110<1111
    • 从码字长度n到n+1有如下关系
      • C(n+1,1)=(C(n,last)+1)<<1
    • 从码字长度n到n+2有如下关系
      • C(n+2,1)=(C(n,last)+1)<<2

视频编解码学习之三：变换，量化与熵编码_第55张图片

视频编解码学习之三：变换，量化与熵编码_第56张图片

8. 一元码

  • 编码一个非负整数n为n个1和一个0
  • 不需要存储码表
  • 可以用Huffman树表示

    视频编解码学习之三：变换，量化与熵编码_第57张图片

  • 码长增长太快：n=100，码长101

视频编解码学习之三：变换，量化与熵编码_第58张图片

9. 哥伦布编码

  • 将信源符号等分成几组，每组有相应的编号
  • 编号小的分配码字短，编号大分配码字长
  • 同组的符号有等长的码字，比一元码的码字长度增长慢

  • 码字分配

视频编解码学习之三：变换，量化与熵编码_第59张图片

视频编解码学习之三：变换，量化与熵编码_第60张图片

视频编解码学习之三：变换，量化与熵编码_第61张图片

 

10. 指数哥伦布编码

  • 哥伦布码对信源符号的分组大小相同
  • 指数哥伦布码对信源符号的分组大小按照指数增长
  • 指数哥伦布码依然是一元码加定长码的形式
  • 指数哥伦布码的指数k=0，1，2，…

视频编解码学习之三：变换，量化与熵编码_第62张图片

视频编解码学习之三：变换，量化与熵编码_第63张图片

视频编解码学习之三：变换，量化与熵编码_第64张图片

11. CAVLC（ Context-Based Adaptive Variable Length Code）

  • 当前块的系数分布和其邻块的系数分布情况相关
    • N X为块X的非零系数个数，当前块C的第一个系数的编码码表由N C决定， N C=( N A+ N B )/2

  • 当前待编码系数和前面编码系数有相关性
    • 当前块C的其它系数的编码码表由前一个系数的幅值决定cofN-1=>GolombTab_x，用GolombTab_x编码cofN

视频编解码学习之三：变换，量化与熵编码_第65张图片

12. 算术编码

  • 信息量=>符号编码比特数
  • Huffman编码为每个符号分配一个码字，这说明Huffman编码的压缩上限是1比特/符号
  • 算术编码若干个符号可编码成1bit
  • 算术编码是把信源表示为实数轴上[0,1]区间，信源中每个符号都用来缩短这个区间
    • 输出[0,1]区间的一个实数表示一串编码符号
    • 比Huffman编码更有效
  • 编码思想
    • 编码器用熵编码算法编码一串符号产生一个[0,1]区间的实数，将实数的一个二进制表示传给解码器
    • 解码器用熵解码算法解码得到一串符号
  • 小数的二进制表示

  • 信源符号概率分布

    视频编解码学习之三：变换，量化与熵编码_第66张图片

  • 字符串：X2 X2 X3 X3 X6 X5 X7
  • Huffman编码，01 01 100 100 00 11 1011，18bit

视频编解码学习之三：变换，量化与熵编码_第67张图片视频编解码学习之三：变换，量化与熵编码_第68张图片

视频编解码学习之三：变换，量化与熵编码_第69张图片

  • 算术编码更接近熵
  • 有限精度算术编码是次优（Near-optimal）编码，发送整数比特给解码端
  • 算术编码到最后一个字符编码结束才输出码字
  • 编码复杂度也比较高

13. 二值算术编码

视频编解码学习之三：变换，量化与熵编码_第70张图片视频编解码学习之三：变换，量化与熵编码_第71张图片

视频编解码学习之三：变换，量化与熵编码_第72张图片

13. 自适应二值算术编码

  • 由于信源0和1出现的概率是在不断变化的，因此0和1的概率区间也应该不断改变
  • 自适应二值算术编码每编码一个0或1都重新统计0和1的概率并重新划分[0,1)区间
  • 编解码端的概率统计模型一致，能够得到同样的[0,1)区间划分

视频编解码学习之三：变换，量化与熵编码_第73张图片视频编解码学习之三：变换，量化与熵编码_第74张图片

 

14. CABAC（Context-Based Adaptive Binary Arithmetic Coding）

视频编解码学习之三：变换，量化与熵编码_第75张图片

  • 当前块的语法元素概率分布和其邻块的语法元素概率分布情况相关
    • 当前块C的邻块A和B的语法元素SA与SB可以为编码C块的语法元素SC选择概率模型
  • 二值化
    • 将语法元素值转换成二进制值串
  • 概率模型更新
    • 根据已经编码的比特，重新估计二进制值串的概率并更新概率模型，用新的概率模型编码下一个比特

视频编解码学习之三：变换，量化与熵编码_第76张图片

15. Run Length 编码

  • 利用信源字符的重复性来编码的技术
  • 对有很长，很多重复字符的信源编码非常有效
  • 重复字符称为run，重复的字符个数称为run length
  • Run-length编码能够和其它熵编码一起来压缩数据

视频编解码学习之三：变换，量化与熵编码_第77张图片

视频编解码学习之三：变换，量化与熵编码_第78张图片

16. 字典编码

  • 字典编码：根据信源符号（消息）的组合特点，建立包含各种符号组合的字典，编码这些符号组合的索引
    • LZ78=>Winzip
    • LZW=> GIF
  • 适合一般意义上的数据压缩，去除数据的统计冗余

17. LZW

  • 将信源输出的字符串中，每个第一次出现的字符或者字符串用索引来表示，并将字符或字符串对应的索引编码到码流中
  • 解码端根据从码流中解码的字符，在线的建立和编码器完全一样的字典，并恢复出信源输出的字符串
  • 适用于字符串中有大量的子字符串多次重复出现，重复次数越多，压缩效果越好
  • 单个符号被分配为0-255之间的值
  • 初始码表，使其包含值为0-255的256个符号，值大于255的符号为空
  • 编码器将根据编码的符号情况确定字符组合为从 256 到 4095 之间的值
  • 编码时，编码器识别新的字符组合，并将他们增加到码表中
  • 编码器用码表中的符号组合所对应的值编码

视频编解码学习之三：变换，量化与熵编码_第79张图片

  • 解压时LZW解码器能够产生和编码器完全一样的码表
  • 和编码器一样先初始化所有的单字符，将0-255之间的值分配给它们
  • 除了解码第一个字符外，解码其它字符时都要更新码表
  • 通过读码字并根据码表中的值将它们解码为对应的字符或字符组合

视频编解码学习之三：变换，量化与熵编码_第80张图片

18. LZ78

视频编解码学习之三：变换，量化与熵编码_第81张图片

视频编解码学习之三：变换，量化与熵编码_第82张图片

你可能感兴趣的:(视频编解码学习之三：变换，量化与熵编码)

  • 【C#面向对象】第二课——深入C#数据类型、值类型和引用类型的学习 逍遥小丸子 C#面向对象C#数据类型数据类型值类型和引用类型拆箱和装箱枚举
    知识点：理解值类型和引用类型的区别、掌握结构类型的定义、掌握拆箱和装箱的概念、掌握使用值类型和引用类型作为方法的参数1、值类型和引用类型我们在前面学习过C#中的常用数据类型，常用的数据类型有：C#中的数据类型说明用法举例
  • 元学习的认知思维棱镜 由数入道 AI辅助教学学习元学习思维模型认知框架思维棱镜
    在学习这场马拉松中，大多数人只关注如何跑得更快（学习方法），但元学习关注的却是如何学会规划路线、调整呼吸、监测体能，甚至理解身体（大脑）的运作机制，从而跑得更远、更有效率。元学习（Meta-Learning）——“学会学习”的底层操作系统本质：元学习，简而言之，就是我们的大脑如何学习、如何反思学习过程、并如何优化学习策略的能力。它不是学习具体知识，而是学习如何学习知识本身。它好比你手中的智能手机，
  • 第3关：Numpy数组的切片与索引 -阿呆- #numpy初体验python
    相关知识一维Numpy数组的切片操作与Python列表的切片一样。下面首先来定义数字012直到8的数组，然后通过指定下标3到7来选择数组的部分元素，这实际上就是提取数组中值为3到6的元素。In:importnumpyasnpIn:a=np.arange(9)In:a[3:7]Out:array([3,4,5,6])同时用下标选择元素，下标范围从0到7，并且下标每次递增2，如下所示：In:a[:7:
  • zephyr OS 线程的使用
    目录概述1线程的概念1.1线程定义1.2线程的本质定义1.3线程的核心组成要素1.4线程与进程的对比1.5线程在RTOS中的关键特性1.6线程的同步与通信1.7线程在嵌入式系统的特殊考量1.8多线程编程模型2ZephyrRTOS中线程2.1创建线程的步骤2.2ZephyrRTOS中线程定义2.3关键API函数2.4线程中的睡眠函数3线程应用实践3.1完整线程定义模板3.1.1源代码3.1.2关键细
  • Web Components 与 Shadow DOM 的样式隔离 海派程序猿 前端
    WebComponents和ShadowDOM：一墙之隔，天下太平？各位看官，咱们今天聊聊WebComponents里面一个挺有意思的概念——ShadowDOM。别被这名字吓到，什么“影子”，什么“领域”，听起来玄乎，其实它就是WebComponents实现样式隔离的一把利器。想象一下，你写了一个非常炫酷的日期选择器，用了自定义的颜色、字体，各种动画效果，简直完美！然后你把它扔到你的项目里，结果…
  • JS 与 CSS 的交互式开发：打造灵动的网页体验 维他奶糖61 pandas数据库前端
    在当今的网页开发领域，静态的网页早已无法满足用户日益增长的交互需求。JavaScript（JS）和层叠样式表（CSS）作为前端开发的两大支柱，它们的强强联合能够创造出令人惊叹的交互式网页效果。从简单的按钮点击变色，到复杂的动画过渡和动态页面布局变换，JS与CSS的交互式开发赋予了网页生命与活力。接下来，就让我们深入探索这一奇妙的领域。理解JS与CSS的分工与协作在开始交互式开发之前，我们需要明确J
  • 时序数据库IoTDB可实现的基本操作及命令汇总 时序数据说 时序数据库iotdb数据库物联网大数据开源
    一、数据写入、删除与导出1.1数据写入在物联网场景下，元件产生的数据通常会自动写入。但有时，需要修改过去的数据，可以使用INSERT语句插入修改后的值，覆盖原数据。‌示例‌：INSERTINTOroot.BHSFC.Q1.W003(timestamp,speed)VALUES(1657472400000,2);1.2数据删除1.2.1SQL语句删除‌删除整个时间序列‌：DELETEFROMroot
  • Linux下基于C++11的socket网络编程（基础版本） 吃拉面的小波 C++网络编程linux网络c++
    第一：socket的基础知识略，网上有很多这样的知识，我觉得他们应该讲的比我好。我是跟着韩国人尹圣雨写的《TCP/IP网络编程》这本书学的。第二：使用的线程库C++11std::thread在经过自己简单的封装第三：声明因为我也是初学，可能写的不好，封装的也不好，我写这篇文章，只是希望帮助很基础的初学者，慢慢的接触socket，也给自己记录一下学习的经过。所以，如果错误的，或者不好的地方，望各位多
  • 数据库领域下的时序数据库并发控制 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&Agent数据库时序数据库ai
    时序数据库并发控制：原理、实现与最佳实践关键词：时序数据库、并发控制、MVCC、时间戳排序、乐观并发控制、分布式事务、性能优化摘要：本文深入探讨时序数据库中的并发控制机制，从基本原理到实际实现进行全面剖析。文章首先介绍时序数据库的特点和并发控制挑战，然后详细分析MVCC、时间戳排序等核心算法原理，并通过代码示例展示实现细节。接着探讨分布式环境下的特殊考量，提供性能优化策略和实际应用案例。最后展望未
  • 信息安全与网络安全---引言 薄荷椰果抹茶 信息安全与网络安全安全网络安全
    仅供参考文章目录一、计算机安全1.1CIA三元组1.2影响等级1.3计算机安全的挑战二、OSI安全体系结构2.1安全攻击2.2安全服务2.3安全机制三、基本安全设计准则四、攻击面和攻击树（重点）4.1攻击面4.2攻击树五、习题与答案一、计算机安全（1）对某个自动化信息系统的保护措施（2）其目的在于实现信息系统资源的完整性、机密性、以及可用性1.1CIA三元组C：机密性数据机密性Dataconfid
  • 《Python 实现 B 站视频信息爬虫：从批量获取到 CSV 保存》 维他奶糖61 python音视频爬虫
    B站视频信息爬虫实战：用Python批量获取B站视频数据引言在数据分析和内容研究场景中，获取B站视频的标题、播放量、作者等信息是常见需求。本文将介绍如何使用Python编写一个B站视频爬虫，通过DrissionPage库实现自动化数据采集，并保存为CSV格式。相比传统Selenium，DrissionPage的API更简洁，适合快速开发爬虫脚本。技术栈与环境准备核心库：DrissionPage：基
  • JavaEE：CAS单点登录 杨先生_ JavaEEjava-eejava
    说明：CAS单点登录用于实现多个顶级域名不同的系统或各子系统实现统一登录，一处登录，各系统免登录。JWT工具类实现：JavaEE：JWT生成/解析token与Spring拦截器_jwt可以解析token吗-CSDN博客一、CAS登录/登出实现：1.单点登录(创建全局ticket+临时ticket)：/** *登录CAS系统(供CAS登录页调用) *1.登录验证，并创建用户分布式会话(Token存入
  • Day32 Web自动化进阶 lookout99 软件测试python自动化测试工具
    系列文章目录Day01软件测试基础总结Day02测试用例知识点总结（上）Day03测试用例知识点总结（下）Day04禅道-从安装到卸载Day05MySql的基础使用Day06MySql知识点总结Day07MySql知识点再总结与多表查询Day08redis的基础知识Day08VMware的安装、Linux系统安装和Linux基础命令Day09Linux常用命令总结Day10Linux环境部署和项目
  • Day33 PO模型 lookout99 软件测试python自动化测试工具
    系列文章目录Day01软件测试基础总结Day02测试用例知识点总结（上）Day03测试用例知识点总结（下）Day04禅道-从安装到卸载Day05MySql的基础使用Day06MySql知识点总结Day07MySql知识点再总结与多表查询Day08redis的基础知识Day08VMware的安装、Linux系统安装和Linux基础命令Day09Linux常用命令总结Day10Linux环境部署和项目
  • 什么是护网行动 鹿鸣天涯 红蓝攻防安全
    一、什么是护网行动？护网行动是以公安部牵头的，用以评估企事业单位的网络安全的活动。具体实践中。公安部会组织攻防两方，进攻方会在一个月内对防守方发动网络攻击，检测出防守方（企事业单位）存在的安全漏洞。通过与进攻方的对抗，企事业单位网络、系统以及设备等的安全能力会大大提高。“护网行动”是国家应对网络安全问题所做的重要布局之一。“护网行动”从2016年开始，随着我国对网络安全的重视，涉及单位不断扩大，越
  • 爪形行列式 CyberMuse 算法
    好的！我用一个具体的数值4阶“爪形”矩阵举例，配合一步一步推导，完整展示“列变换消元求行列式”的过程。---#例题计算行列式\[D=\begin{vmatrix}4&2&3&1\\6&5&0&0\\7&0&4&0\\8&0&0&3\end{vmatrix}.\]---#Step1：确认结构-第一行：\(a_0=4,b_1=2,b_2=3,b_3=1\)；-从第二行开始主对角为\(a_1=5,a_2
  • 《凤凰架构》C7-分布式服务 Epi_HHH 阅读笔记java
    目录一、服务发现二、网关路由三、负载均衡一、服务发现服务发现就是动态定位服务实例地址，解决分布式环境下服务实例IP和端口可能变化的问题1）基础概念远程服务调用精确坐标：全限定名+端口号+服务标识，如：order-service.default.svc.cluster.local:50051/com.example.order.OrderService/getOrderById服务标识：与具体的应用
  • 《凤凰架构》C12-容器间网络 Epi_HHH 阅读笔记网络容器
    一、Linux网络虚拟化1）干预网络通信——以NetFliter与iptable为例钩子是iptables在内核网络协议栈处理数据包时的“插入点”，也就是规则生效的具体时刻和位置。数据包经过网络栈，会在不同阶段被iptables规则检查。INPUT：处理进入本机的数据包OUTPUT：处理由本机发出的数据包FORWARD：处理经过本机转发的数据包PREROUTING：数据包进入路由决策前（常用来做D
  • Go语言的单元测试与基准测试详解 旧游无处不堪寻 golang单元测试测试工具测试用例jenkins集成测试功能测试
    单元测试以一个加法函数为例，对其进行单元测试。首先编写add.go文件：//add.gopackagemainfuncadd(a,bint)int{returna+b}其次编写add_test.go文件，在go语言中，测试文件均已_test结尾，这里只需要在被测试的文件后加上_test即可。并且测试文件与要被测试的文件需要放在同一个包中，并不像Java那样需要将所有的测试文件放在一个专门的测试文件
  • 【LLaMA 3实战】3、LLaMA 3长文本处理终极指南：从128K上下文到百万级文档实战 无心水 LLaMA3模型实战专栏LLaMALLaMA3长文本处理MetaAI大模型CSDN技术干货LLaMA3前沿模型实战
    引言：长文本处理的技术跃迁当LLaMA3将上下文窗口扩展至128Ktokens（约8万字），长文本处理技术迎来了革命性突破。这不仅意味着模型能处理更复杂的文档，更开启了"全局认知"的新可能——从法律合同的全条款审查到代码仓库的跨文件重构，从金融报告的时序分析到医疗病历的全周期追踪。本文将系统拆解LLaMA3长文本能力的技术内核，提供工程级优化方案与实战技巧，助你突破长文本处理的算力瓶颈与应用边界。
  • FineWeb数据集 frostmelody 人工智能
    FineWeb数据集根据您提供的文档链接，我将对FineWeb数据集进行全面解析。FineWeb是HuggingFace在2024年发布的一项革命性开源AI训练数据集，它通过提供高质量、大规模的数据，打破了AI训练数据的垄断局面。以下解析基于文档内容，分为几个核心部分：FineWeb的定义与规模、其重要性、主要突破点，以及制作过程的全貌。我会在相关部分嵌入文档中的图片，以增强理解。所有图片均来自文
  • 普通话的调域中值 音元系统 语音识别自然语言处理语言模型python
    普通话调域中值测算为五度标调法的3.81及其取整为4的准确性与合理性研究摘要本研究通过对比分析不同计算方法得出的普通话调域中值，探讨了将调域中值测算为3.81并取整为4的准确性与合理性。研究比较了本中值算法与刘俐李(2004)算法的差异，结合石锋(1986)等实证研究数据，验证了3.81作为调域中值的科学性。结果表明，该取值不仅符合普通话声调的实际分布特征，也为五度标调法的应用提供了更精确的参考标
  • Node.js 中的 JWT 认证：从生成到验证的完整指南 盛夏绽放 node.js有问必答后端
    文章目录Node.js中的JWT认证：从生成到验证的完整指南一、JWT是什么？为什么需要它？传统session与JWT对比二、JWT的结构解析三、Node.js中实现JWT1.安装jsonwebtoken包2.生成JWT3.验证JWT4.错误处理大全四、高级应用场景1.刷新令牌机制2.在不同路由中的验证中间件五、安全最佳实践六、常见问题解答七、完整示例代码结语主要内容包括：使用jsonwebtok
  • mysql锁机制 weixin_45990219 教程mysql数据库
    深入解析MySQL锁机制：从原理到实战场景前言在数据库高并发场景中，锁机制是保障数据一致性和事务隔离性的核心。然而，MySQL中锁的类型繁多，概念抽象，容易让人望而生畏。本文将通过通俗的语言和实际场景，带你彻底理解MySQL中的各种锁机制及其应用。一、锁的由来与分类1.1为什么需要锁？多个事务并发执行时，可能出现脏写、脏读、不可重复读、幻读等问题。例如：场景：A事务修改了某条数据但未提交，B事务读
  • Node.js特训专栏-实战进阶：7.Express模板引擎选型与使用 爱分享的程序员 Node.jsnode.js前端javascript
    欢迎来到Node.js实战专栏！在这里，每一行代码都是解锁高性能应用的钥匙，让我们一起开启Node.js的奇妙开发之旅！Node.js特训专栏主页专栏内容规划详情Express模板引擎选型与使用全解析：打造动态Web页面的利器在基于Express构建Web应用时，模板引擎是生成动态页面的核心组件。它允许开发者将数据与HTML结构分离，通过简单的语法将后端数据动态填充到页面中。市面上存在多种模板引擎
  • ROS 避障技术介绍 Xian-HHappy 机器人-Robotros避障
    ROS避障技术介绍一、ROS避障系统概述ROS（机器人操作系统）作为移动机器人开发的主流框架，其避障技术依托模块化设计，通过传感器数据融合、环境建模与运动规划实现动态障碍物规避。在物流机器人、服务机器人、自动驾驶等场景中，ROS避障系统需满足实时性、安全性与灵活性要求，核心流程包括环境感知-障碍建模-路径规划-运动控制四个环节。二、避障核心组件与原理1.传感器层：环境信息获取激光雷达（如Velod
  • Ubuntu下安装Moodle平台 swy520 ubuntuMoodleubuntuMoodle
    一前言Moodle是一个开源课程管理系统（CMS），也被称为学习管理系统（LMS）或虚拟学习环境（VLE），它通常用来播放符合SCORM标准的课件，但功能远不止课程管理，作业模块等功能。这里主要介绍moodle的安装方法。二安装准备Moodle通常在Linux操作系统上，基于Apache，PostgreSQL/MySQL/MariaDB和PHP进行开发。为了平台的稳定性，我们选择Linux操作系统
  • FlatBuffers（概念、原理及优势、在TS中的使用） 前端杂货铺 TodoList100个小知识FlatBuffersJSON序列化反序列化
    个人简介个人主页：前端杂货铺‍♂️学习方向：主攻前端方向，正逐渐往全干发展个人状态：研发工程师，现效力于中国工业软件事业人生格言：积跬步至千里，积小流成江海推荐学习：前端面试宝典100个小功能Vue2Vue3Vue2/3项目实战Node.js实战Three.js个人推广：每篇文章最下方都有加入方式，旨在交流学习&资源分享，快加入进来吧文章目录介绍在Vue中使用FlatBuffersFlatBuff
  • MySQL 锁机制全解析：从表锁到间隙锁，谁都能看懂的知识！ dr李四维 笔记mysql数据库锁死锁乐观锁悲观锁意向锁
    目录一、锁的基本概念二、MySQL中的锁类型1.表级锁（TableLock）2.行级锁（RowLock）3.间隙锁（GapLock）4.意向锁（IntentLock）5.乐观锁（OptimisticLock）6.悲观锁（PessimisticLock）7.死锁（Deadlock）8.自增锁（Auto-IncrementLock）9.元数据锁（MetadataLock,MDL）三、锁的对比与选择四、
  • 计算机导论期末快速复习指南 Pu_Nine_9 杂记计算机导论
    操作系统核心概念进程与线程进程是程序在内存中的一次执行过程，具有动态性和并发性一个进程可以有多个线程，但至少要有一个线程资源分配给进程，同一进程的所有线程共享该进程的所有资源处理机分配给线程，真正在处理机上运行的是线程进程状态转换：被唤醒→就绪状态；时间片用完→执行状态变为就绪状态进程同步与死锁互斥：系统存在临界资源循环等待：多个进程形成等待链不可剥夺：已分配资源在宿主释放前不能被剥夺操作系统类型
  • VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite iwindyforest vmwaremac os10.10workstationplayer
    最近尝试了下VMware下安装MacOS 系统， 安装过程中发现网上可供参考的文章都是VMware Workstation 10以下， MacOS X 10.9以下的文章， 只能提供大概的思路， 但是实际安装起来由于版本问题， 走了不少弯路， 所以我尝试写以下总结， 希望能给有兴趣安装OSX的人提供一点帮助。     写在前面的话： 其实安装好后发现， 由于我的th
  • 关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑？ deathwknight JavaScriptjava框架
    本人从学习Java开发到现在已有10年整，从一个要自学 java买成javascript的小菜鸟，成长为只会java和javascript语言的老菜鸟（个人邮箱：[email protected]） 一路走来，跌跌撞撞。用自己的三年多业余时间，瞎搞一个小东西（基于模型驱动的B/S在线开发平台，非MVC框架、非代码生成）。希望与大家一起分享，同时有许些疑虑，希望有人可以交流下 平台
  • 如何把maven项目转成web项目 Kai_Ge mavenMyEclipse
    创建Web工程，使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
  • 主管？？？ Array_06 工作
    转载：http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html 很久以前跟同事参加的培训，同事整理得很详细，必须得转！ 前段时间，公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来，虽然内容较多，因对老师三天来的课程内容深有感触，故借着整理学习心得的机会，将三天来的培训课程做了一个
  • python内置函数大全 2002wmj python
    最近一直在看python的document，打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面，其实在看的时候发现整个《The Python Standard Library》章节都是很不错的，其中描述了很多不错的主题。先把Build-in Fu
  • JSP页面通过JQUERY合并行 357029540 JavaScriptjquery
    在写程序的过程中我们难免会遇到在页面上合并单元行的情况，如图所示 如果对于会的同学可能很简单，但是对没有思路的同学来说还是比较麻烦的，提供一下用JQUERY实现的参考代码 function mergeCell(){         var trs = $("#table tr"); &nb
  • Java基础 冰天百华 java基础
    学习函数式编程 package base; import java.text.DecimalFormat; public class Main { public static void main(String[] args) { // Integer a = 4; // Double aa = (double)a / 100000; // Decimal
  • unix时间戳相互转换 adminjun 转换unix时间戳
    如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)？ Java time JavaScript Math.round(new Date().getTime()/1000) getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
  • 作为一个合格程序员该做的事 aijuans 程序员
    作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况 最好的方式是写工作日志，把自己今天完成了什么事情，遇见了什么问题都记录下来，日后翻看好处多多 2、考虑自己明天应该做的主要工作 把明天要做的事情列出来，并按照优先级排列，第二天应该把自己效率最高的时间分配给最重要的工作 3、考虑自己一天工作中失误的地方，并想出避免下一次再犯的方法 出错不要紧，最重
  • 由html5视频播放引发的总结 ayaoxinchao html5视频video
    前言   项目中存在视频播放的功能，前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备，必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解，不了解不知道，水真是很深。本文所记录的知识一些浅尝辄止的知识，说起来很惭愧。   视频结构   本该直接介绍html5的<video>的，但鉴于本人对视频
  • 解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat bewithme httpclient
         如果你构建了一个https协议的站点，而此站点的安全证书并不是合法的第三方证书颁发机构所签发，那么你用httpclient去访问此站点会报如下错误   javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
  • Jedis连接池的入门级使用 bijian1013 redisredis数据库jedis
    Jedis连接池操作步骤如下：         a.获取Jedis实例需要从JedisPool中获取；         b.用完Jedis实例需要返还给JedisPool；         c.如果Jedis在使用过程中出错，则也需要还给JedisPool； packag
  • 变与不变 bingyingao 不变变亲情永恒
    变与不变    周末骑车转到了五年前租住的小区，曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在，    各种店铺都换了好几茬，这些是变的。    三年前还很流行的一款手机在今天看起来已经落后的不像样子。    三年前还运行的好好的一家公司，今天也已经不复存在。    一座座高楼拔地而起，
  • 【Scala十】Scala核心四：集合框架之List bit1129 scala
    Spark的RDD作为一个分布式不可变的数据集合，它提供的转换操作，很多是借鉴于Scala的集合框架提供的一些函数，因此，有必要对Scala的集合进行详细的了解   1. 泛型集合都是协变的，对于List而言，如果B是A的子类，那么List[B]也是List[A]的子类，即可以把List[B]的实例赋值给List[A]变量   2. 给变量赋值(注意val关键字，a，b
  • Nested Functions in C bookjovi cclosure
      Nested Functions 又称closure，属于functional language中的概念，一直以为C中是不支持closure的，现在看来我错了，不过C标准中是不支持的，而GCC支持。   既然GCC支持了closure，那么 lexical scoping自然也支持了，同时在C中label也是可以在nested functions中自由跳转的
  • Java-Collections Framework学习与总结-WeakHashMap BrokenDreams Collections
            总结这个类之前，首先看一下Java引用的相关知识。Java的引用分为四种：强引用、软引用、弱引用和虚引用。         强引用：就是常见的代码中的引用，如Object o = new Object();存在强引用的对象不会被垃圾收集
  • 读《研磨设计模式》-代码笔记-解释器模式-Interpret bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 解释器（Interpreter）模式的意图是可以按照自己定义的组合规则集合来组合可执行对象 * * 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值 * 多
  • After Effects操作&快捷键 cherishLC After Effects
    1、快捷键官方文档 中文版：https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html 英文版：https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html 2、常用快捷键
  • Maven 常用命令 crabdave maven
    Maven 常用命令   mvn archetype:generate mvn install mvn clean mvn clean complie mvn clean test mvn clean install mvn clean package mvn test mvn package mvn site   mvn dependency:res
  • shell bad substitution daizj shell脚本
    #!/bin/sh /data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
  • Java SE 第二讲（原生数据类型 Primitive Data Type） dcj3sjt126com java
    Java SE  第二讲： 1.   Windows: notepad, editplus, ultraedit, gvim Linux: vi, vim, gedit 2.   Java 中的数据类型分为两大类： 1）原生数据类型  （Primitive Data Type） 2）引用类型（对象类型）  （R
  • CGridView中实现批量删除 dcj3sjt126com PHPyii
    1，CGridView中的columns添加 array( 'selectableRows' => 2, 'footer' => '<button type="button" onclick="GetCheckbox();" style=&
  • Java中泛型的各种使用 dyy_gusi java泛型
    Java中的泛型的使用：1.普通的泛型使用 在使用类的时候后面的<>中的类型就是我们确定的类型。 public class MyClass1<T> {//此处定义的泛型是T private T var; public T getVar() { return var; } public void setVa
  • Web开发技术十年发展历程 gcq511120594 Web浏览器数据挖掘
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • openSession()与getCurrentSession()区别： hetongfei javaDAOHibernate
    来自 http://blog.csdn.net/dy511/article/details/6166134 1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。 2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。 这里getCurrentSession本地事务(本地
  • 第一章 安装Nginx+Lua开发环境 jinnianshilongnian nginxluaopenresty
    首先我们选择使用OpenResty，其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
  • HSQLDB In-Process方式访问内存数据库 liyonghui160com
        HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。   先睹为快！   下面是一个In-Process方式访问内存数据库的代码示例：     下面代码需要引入hsqldb.jar包 （hsqldb-2.2.8）   import java.s
  • Java线程的5个使用技巧 pda158 java数据结构
    Java线程有哪些不太为人所知的技巧与用法？ 　　萝卜白菜各有所爱。像我就喜欢Java。学无止境，这也是我喜欢它的一个原因。日常 工作中你所用到的工具，通常都有些你从来没有了解过的东西，比方说某个方法或者是一些有趣的用法。比如说线程。没错，就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候，通常会面临各种各样的并发编程的问题，不过我们现在所要讲的可能会略有不同。
  • 开发资源大整合：编程语言篇——JavaScript（1） shoothao JavaScript
    概述：本系列的资源整合来自于github中各个领域的大牛，来收藏你感兴趣的东西吧。     程序包管理器   管理javascript库并提供对这些库的快速使用与打包的服务。 Bower - 用于web的程序包管理。 component - 用于客户端的程序包管理，构建更好的web应用程序。 spm - 全新的静态的文件包管
  • 避免使用终结函数 vahoa.ma javajvmC++
    终结函数（finalizer）通常是不可预测的，常常也是很危险的，一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能，以及带来移植性问题。不要把终结函数当做C++中的析构函数（destructors）的对应物。       我自己总结了一下这一条的综合性结论是这样的： 1）在涉及使用资源，使用完毕后要释放资源的情形下，首先要用一个显示的方
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他