arau_sh
arau_sh

视频编解码学习之三：变换，量化与熵编码

转自 http://www.cnblogs.com/xkfz007/archive/2012/07/29/2614250.html


第6章 变换编码

1. 变换编码

  • 变换编码的目的
    • 去除空间信号的相关性
    • 将空间信号的能力集中到频域的一小部分低频系数上
    • 能量小的系数可通过量化去除，而不会严重影响重构图像的质量
  • 块变换和全局变换
    • 块变换：离散余弦变换(Discrete Cosine Transform，DCT)，4x4，8x8，16x16
    • 全局变换：小波变换(Wavelet)
  • 变换的能量集中特性
    • DCT编码

2. 变换类型

  • K-L变换
  • 傅里叶变换
  • 余弦变换
  • 小波变换

3. KL变换

  • 最优变换
  • 基函数根据具体图像而确定
  • 没有快速算法
  • 实际中很少使用
    • 复杂度极高

视频编解码学习之三：变换，量化与熵编码_第1张图片视频编解码学习之三：变换，量化与熵编码_第2张图片视频编解码学习之三：变换，量化与熵编码_第3张图片

  • K-L变换非常复杂度很高，不实用
    • 需要计算协方差矩阵U
    • 需要计算特征向量
    • 需要发送 到解码器

4. 离散傅立叶变换

视频编解码学习之三：变换，量化与熵编码_第4张图片

5. 离散傅立叶变换性质

6. 离散余弦变换

  • 比K-L变换，傅里叶变换的复杂度更低
  • 变换性能仅次于K-L变换
  • 有快速算法可以加快变换速度
  • 可以用整数变换进一步降低复杂度

视频编解码学习之三：变换，量化与熵编码_第5张图片

视频编解码学习之三：变换，量化与熵编码_第6张图片

7. DCT与DFT的关系

视频编解码学习之三：变换，量化与熵编码_第7张图片

8. 离散余弦变换的重要性质

视频编解码学习之三：变换，量化与熵编码_第8张图片

 

9. 快速DCT变换

视频编解码学习之三：变换，量化与熵编码_第9张图片

视频编解码学习之三：变换，量化与熵编码_第10张图片

下图是一个动态展示：

 

视频编解码学习之三：变换，量化与熵编码_第11张图片

视频编解码学习之三：变换，量化与熵编码_第12张图片

 

10. 整数离散余弦变换

  • 离散余弦变换为浮点操作
    • 需要64位精度
    • 浮点计算复杂度高
    • 变换精度高
  • 整数变换：离散余弦变换的整数近似
    • 需要更少的位宽
    • 整数计算复杂度低
    • 好的整数变换的变换精度接近浮点变换
  • 浮点近似方法

视频编解码学习之三：变换，量化与熵编码_第13张图片

11. H.264的4x4整数变换

视频编解码学习之三：变换，量化与熵编码_第14张图片

视频编解码学习之三：变换，量化与熵编码_第15张图片

视频编解码学习之三：变换，量化与熵编码_第16张图片视频编解码学习之三：变换，量化与熵编码_第17张图片

视频编解码学习之三：变换，量化与熵编码_第18张图片

12. 小波变换

  • 新的变换方法
  • 避免由于块编码带来的块效应
  • 更适合视频空间可分级编码

 

第7章 量化

1. 量化Quantization

  • 用更小的集合表示更大的集合的过程
    • 对信号源的有限近似
    • 有损过程
    • 应用
      • A/D转换
      • 压缩
    • 量化方法
      • 标量(Scalar)量化
      • 矢量(Vector)量化

2. 量化的基本思想

  • 映射一个输入间隔到一个整数
  • 减少信源编码的bit
  • 一般情况重构值与输入值不同

3. 量化模型

视频编解码学习之三：变换，量化与熵编码_第19张图片

4. 量化的率失真优化

  • 量化器设计问题
    • 量化水平的个数，即Bin的个数
    • 决策边界：Bin的边界
    • 重构水平
  • 量化器设计是对率失真的优化
    • 为了减少码率的大小，需要减少Bin的个数
    • Bin的个数减少导致重构的误差增大，失真也就随着增大

5. 失真测量

6. 量化器设计

  • 量化器设计的两个方面
    • 给定量化水平数目M，找到决策边界xi和重构水平 使MSE最小
    • 给定失真限制D，找到量化水平数目M，决策边界xi和重构水平yi使MSE<=D

7. 均匀量化（Uniform Quantization）

视频编解码学习之三：变换，量化与熵编码_第20张图片

视频编解码学习之三：变换，量化与熵编码_第21张图片

8. 量化与峰值信噪比

视频编解码学习之三：变换，量化与熵编码_第22张图片

9. 中升量化器（Midrise Quantizer）

10. 中平量化器（Midtread Quantizer）

视频编解码学习之三：变换，量化与熵编码_第23张图片

11. 死区量化器（Deadzone Quantizer）

视频编解码学习之三：变换，量化与熵编码_第24张图片

12．非均匀量化（Non-uniform Quantization）

  • 如果信源不是均匀分布的，采用均匀量化不是最优的
  • 对于非均匀量化，为了减少MSE，当概率密度函数fX(x)高时，使Bin的量化步长减小，当概率密度函数fX(x)低时， 使Bin的量化步长增加。

视频编解码学习之三：变换，量化与熵编码_第25张图片

13. 最优的标量量化

视频编解码学习之三：变换，量化与熵编码_第26张图片

视频编解码学习之三：变换，量化与熵编码_第27张图片

14. 量化编码

  • 定长编码量化水平
    • 使用等长的码字编码每个量化水平，码字长为：
  • 熵编码量化水平
    • 根据量化水平的概率分布情况，用变长的码字编码每个量化水平
    • 平均码字长
    • 比定长编码量化水平效率高
    • 广泛应用在图像和视频编码中

15. 矢量量化

  • 标量量化：对数据一个一个的进行量化，称为标量量化。
  • 矢量量化：将数据分组，每组K个数据构成K维矢量，再以矢量为处理单元进行量化。
    • 矢量量化是标量量化的多维扩展
    • 标量量化是矢量量化的特殊情况
  • 矢量量化工作过程

视频编解码学习之三：变换，量化与熵编码_第28张图片

  • 二维矢量量化

  • 矢量量化优点
    • 只传码字的下标，编码效率高
    • 在相同码率下，比标量量化失真小
    • 在相同失真下，比标量量化码率低
  • 矢量量化缺点：复杂度随着维数的增加呈指数增加

 

第8章 熵编码

1. 熵编码

  • 熵（Entropy）：信源的平均信息量，更精确的描述为表示信源所有符号包含信息的平均比特数
    • 信源编码要尽可能的减少信源的冗余，使之接近熵
    • 用更少的比特传递更多的信源信息
  • 熵编码：数据压缩中根据信源消息的概率模型使消息的熵最小化
    • 无损压缩
    • 变长编码

2. 熵

  • 信息量：

单位：比特

  • 熵：

单位：比特/符号

视频编解码学习之三：变换，量化与熵编码_第29张图片

3. 定长编码

视频编解码学习之三：变换，量化与熵编码_第30张图片

4. 变长编码

  • 变长编码：用不同的比特数表示每一个符号
    • 为频繁发生的符号分配短码字
    • 为很少发生的符号分配长码字
    • 比定长编码有更高的效率
  • 常用的变长编码
    • Huffman编码
    • 算术编码

5. Huffman编码

  • 前缀码：任何码字不是其它码字的前缀
    • 如果011为一个有效码字，则0，1，01，11必不是有效码字
    • 不会引起解码歧义
  • Huffman：
    • 二叉树
    • 树节点:表示符号或符号组合
    • 分支:两个分支一个表示"0"，另一个表示"1"

视频编解码学习之三：变换，量化与熵编码_第31张图片

  • Huffman的不唯一性
    • 每次分支有两种选择：0，1

      视频编解码学习之三：变换，量化与熵编码_第32张图片

    • 相同的概率产生不同的组合

      视频编解码学习之三：变换，量化与熵编码_第33张图片

  • 缺点：
    • 数据的概率变化难于实时统计
    • Huffman树需要编码传输给解码器
    • 只有在p(xi)=1/2ki 时是最优编码
    • 最小码字长度为1比特/符号
  • 如果有二值信源，其两个符号的概率相差很大
    • 例如：p(1)=0.0625，p(0)=0.9375则H=0.3373比特/符号，Huffman编码平均码长=1比特/符号
    • 两个符号联合编码有更高效率

6. 扩展Huffman编码

7. 范式Huffman编码

  • 范式Huffman树的建立规则
    • 节点左支设为0，右支设为1
    • 树的深度从左至右增加
    • 每个符号被放在最先满足的叶子节点

视频编解码学习之三：变换，量化与熵编码_第34张图片

  • 特性
    • 第一个码字是一串0
    • 相同长度的码字的值是连续的
    • 如果所有的码字通过在低位补0的方式，使所有码字的长度相同则有 0000<0100<1000<1010<1100<1110<1111
    • 从码字长度n到n+1有如下关系
      • C(n+1,1)=(C(n,last)+1)<<1
    • 从码字长度n到n+2有如下关系
      • C(n+2,1)=(C(n,last)+1)<<2

视频编解码学习之三：变换，量化与熵编码_第35张图片

8. 一元码

  • 编码一个非负整数n为n个1和一个0
  • 不需要存储码表
  • 可以用Huffman树表示

  • 码长增长太快：n=100，码长101

9. 哥伦布编码

  • 将信源符号等分成几组，每组有相应的编号
  • 编号小的分配码字短，编号大分配码字长
  • 同组的符号有等长的码字，比一元码的码字长度增长慢

  • 码字分配

 

10. 指数哥伦布编码

  • 哥伦布码对信源符号的分组大小相同
  • 指数哥伦布码对信源符号的分组大小按照指数增长
  • 指数哥伦布码依然是一元码加定长码的形式
  • 指数哥伦布码的指数k=0，1，2，…

视频编解码学习之三：变换，量化与熵编码_第36张图片

11. CAVLC（ Context-Based Adaptive Variable Length Code）

  • 当前块的系数分布和其邻块的系数分布情况相关
    • N X为块X的非零系数个数，当前块C的第一个系数的编码码表由N C决定， N C=( N A+ N B )/2

  • 当前待编码系数和前面编码系数有相关性
    • 当前块C的其它系数的编码码表由前一个系数的幅值决定cofN-1=>GolombTab_x，用GolombTab_x编码cofN

视频编解码学习之三：变换，量化与熵编码_第37张图片

12. 算术编码

  • 信息量=>符号编码比特数
  • Huffman编码为每个符号分配一个码字，这说明Huffman编码的压缩上限是1比特/符号
  • 算术编码若干个符号可编码成1bit
  • 算术编码是把信源表示为实数轴上[0,1]区间，信源中每个符号都用来缩短这个区间
    • 输出[0,1]区间的一个实数表示一串编码符号
    • 比Huffman编码更有效
  • 编码思想
    • 编码器用熵编码算法编码一串符号产生一个[0,1]区间的实数，将实数的一个二进制表示传给解码器
    • 解码器用熵解码算法解码得到一串符号
  • 小数的二进制表示

  • 信源符号概率分布

    视频编解码学习之三：变换，量化与熵编码_第38张图片

  • 字符串：X2 X2 X3 X3 X6 X5 X7
  • Huffman编码，01 01 100 100 00 11 1011，18bit

视频编解码学习之三：变换，量化与熵编码_第39张图片视频编解码学习之三：变换，量化与熵编码_第40张图片

视频编解码学习之三：变换，量化与熵编码_第41张图片

  • 算术编码更接近熵
  • 有限精度算术编码是次优（Near-optimal）编码，发送整数比特给解码端
  • 算术编码到最后一个字符编码结束才输出码字
  • 编码复杂度也比较高

13. 二值算术编码

视频编解码学习之三：变换，量化与熵编码_第42张图片视频编解码学习之三：变换，量化与熵编码_第43张图片

视频编解码学习之三：变换，量化与熵编码_第44张图片

13. 自适应二值算术编码

  • 由于信源0和1出现的概率是在不断变化的，因此0和1的概率区间也应该不断改变
  • 自适应二值算术编码每编码一个0或1都重新统计0和1的概率并重新划分[0,1)区间
  • 编解码端的概率统计模型一致，能够得到同样的[0,1)区间划分

视频编解码学习之三：变换，量化与熵编码_第45张图片视频编解码学习之三：变换，量化与熵编码_第46张图片

 

14. CABAC（Context-Based Adaptive Binary Arithmetic Coding）

视频编解码学习之三：变换，量化与熵编码_第47张图片

  • 当前块的语法元素概率分布和其邻块的语法元素概率分布情况相关
    • 当前块C的邻块A和B的语法元素SA与SB可以为编码C块的语法元素SC选择概率模型
  • 二值化
    • 将语法元素值转换成二进制值串
  • 概率模型更新
    • 根据已经编码的比特，重新估计二进制值串的概率并更新概率模型，用新的概率模型编码下一个比特

视频编解码学习之三：变换，量化与熵编码_第48张图片

15. Run Length 编码

  • 利用信源字符的重复性来编码的技术
  • 对有很长，很多重复字符的信源编码非常有效
  • 重复字符称为run，重复的字符个数称为run length
  • Run-length编码能够和其它熵编码一起来压缩数据

视频编解码学习之三：变换，量化与熵编码_第49张图片

视频编解码学习之三：变换，量化与熵编码_第50张图片

16. 字典编码

  • 字典编码：根据信源符号（消息）的组合特点，建立包含各种符号组合的字典，编码这些符号组合的索引
    • LZ78=>Winzip
    • LZW=> GIF
  • 适合一般意义上的数据压缩，去除数据的统计冗余

17. LZW

  • 将信源输出的字符串中，每个第一次出现的字符或者字符串用索引来表示，并将字符或字符串对应的索引编码到码流中
  • 解码端根据从码流中解码的字符，在线的建立和编码器完全一样的字典，并恢复出信源输出的字符串
  • 适用于字符串中有大量的子字符串多次重复出现，重复次数越多，压缩效果越好
  • 单个符号被分配为0-255之间的值
  • 初始码表，使其包含值为0-255的256个符号，值大于255的符号为空
  • 编码器将根据编码的符号情况确定字符组合为从 256 到 4095 之间的值
  • 编码时，编码器识别新的字符组合，并将他们增加到码表中
  • 编码器用码表中的符号组合所对应的值编码

视频编解码学习之三：变换，量化与熵编码_第51张图片

  • 解压时LZW解码器能够产生和编码器完全一样的码表
  • 和编码器一样先初始化所有的单字符，将0-255之间的值分配给它们
  • 除了解码第一个字符外，解码其它字符时都要更新码表
  • 通过读码字并根据码表中的值将它们解码为对应的字符或字符组合

视频编解码学习之三：变换，量化与熵编码_第52张图片

18. LZ78

视频编解码学习之三：变换，量化与熵编码_第53张图片

视频编解码学习之三：变换，量化与熵编码_第54张图片

参考资料：

  • LZW：http://www.cs.usyd.edu.au/~loki/cs2csys/gif-info/lzw.html
  • LZ78：http://www.cs.usyd.edu.au/~loki/cs2csys/gif-info/lz78.html

 


你可能感兴趣的:(视频编解码学习之三：变换，量化与熵编码)

  • Python包管理之Protry的基本使用 菜鸟级后端 pythonlinux开发语言
    一，Poetry是什么Poetry是Python生态中一款革命性的依赖管理与项目打包工具，它通过现代化的设计理念解决了传统工具（如pip+virtualenv）在项目管理中的诸多痛点，比pip的功能强大许多。核心功能如下：1，智能依赖管理Poetry采用pyproject.toml文件统一管理项目元数据、依赖声明及构建配置，通过poetryadd命令即可自动解析依赖树并安装精确版本，避免版本冲突（
  • JDY-23蓝牙模块与电脑的连接方式
    JDY-23蓝牙模块支持多种连接方式，包括SPP（串口通信）模式和BLE（低功耗蓝牙）模式。以下是与电脑连接的具体方法：1.通过SPP模式连接JDY-23模块支持SPP协议，可以通过串口与电脑通信。以下是连接步骤：硬件连接：使用USB转TTL模块将JDY-23的TX、RX引脚分别连接到USB转TTL模块的RX、TX引脚，同时连接VCC和GND。配置串口：在电脑上使用串口调试工具（如XCOM串口助手
  • 极限与配合 念致达 互换性与技术测量机电专业必修课程
    极限与配合术语及概念公称尺寸（基本尺寸）实际尺寸极限尺寸实际偏差极限偏差尺寸公差（Th,Ts）尺寸公差带图配合间隙与过盈配合的种类1.间隙配合2.过盈配合3.过渡配合配合公差（T~f~）公差与配合国家标准标准公差系列公差单位：公差等级基本偏差系列基本偏差基本偏差代号孔轴公差带代号、公差带标注、配合代号公差带代号公差带表示配合代号术语及概念公称尺寸（基本尺寸）设计时给定的尺寸符号：孔（D）轴（d）实
  • 解密大模型全栈开发：从搭建环境到实战案例，一站式攻略 海棠AI实验室 “智元启示录“-AI发展的深度思考与未来展望人工智能大模型全栈开发
    目录大模型基础概念什么是大模型？大模型的发展历程大模型的类型大模型全栈开发环境搭建硬件需求软件环境配置云服务选择大模型应用开发流程模型选择策略提示工程（PromptEngineering）模型微调（Fine-tuning）参数高效微调（PEFT）大模型应用架构设计基本应用架构RAG（检索增强生成）系统Agent系统设计大模型应用部署与优化模型部署选项模型优化技术性能监控与调优大模型应用实战案例智能
  • linux系统中如何查看日志 (常用命令) darling_user Linux
    cattail-f日志文件说明/var/log/message系统启动后的信息和错误日志，是RedHatLinux中最常用的日志之一/var/log/secure与安全相关的日志信息/var/log/maillog与邮件相关的日志信息/var/log/cron与定时任务相关的日志信息/var/log/spooler与UUCP和news设备相关的日志信息/var/log/boot.log守护进程启动
  • Python编程：色温 倔强老吕 C++与python交互编程python色温
    色温（ColorTemperature）是一个用来描述光源颜色特征的物理量，通常用开尔文温度（K）表示。它并不是指灯泡或光源的实际温度，而是以绝对黑体辐射为参照的一种度量方式。当一个理想的黑体被加热到特定温度时，它会发出特定颜色的光，这个颜色与光源的颜色相匹配时，该黑体的温度即为该光源的色温。色温范围及其对应的光色：低于3000K：暖白色，给人以温暖、舒适的感觉，类似于烛光或者白炽灯。3000K至
  • 【AI大模型】26、算力受限下的模型工程：从LoRA到弹性智能系统的优化实践 无心水 AI大模型人工智能搜索引擎LoRA大语言模型微调模型压缩知识蒸馏量化技术
    引言：算力瓶颈与模型工程的突围之路在人工智能领域，大语言模型的发展正呈现出参数规模爆炸式增长的趋势。从GPT-3的1750亿参数到PaLM的5400亿参数，模型能力的提升往往伴随着对算力资源的极度渴求。然而，对于大多数企业和研究者而言，动辄数百GB的显存需求、数十万块GPU的训练集群显然是难以企及的"算力鸿沟"。当面对"无米之炊"的困境时，模型工程技术成为突破算力瓶颈的核心路径——通过算法创新而非
  • Python编程：使用 YOLO 目标检测 倔强老吕 python开发语言
    YOLO（YouOnlyLookOnce）是一种基于深度学习的实时目标检测算法，由JosephRedmon等人于2016年首次提出。与传统的两阶段目标检测方法（如R-CNN系列）不同，YOLO将目标检测任务视为一个单一的回归问题，直接在图像上进行一次推理即可预测边界框和类别概率。YOLO的核心思想单次前向传播（SingleShotDetection）：YOLO只需对输入图像进行一次神经网络推理，就
  • 【NodeJs】【npm】npm安装electron报错 果壳~ npmelectron前端
    解决问题npm安装electron报错一般来说是镜像源的问题。electron的镜像源与一般的vue之类的镜像源地址不一样需要单独配置。npm读取的全局配置一般是在C:\Users\{用户}\.npmrc这个配置文件中。如果你找不到你的配置文件可以执行如下命令,#执行后会直接用txt打开你的配置文件进行修改保存即可npmconfigeditcache=D:\Develop\nodeJs\node_
  • Promise实例简单使用与理解 lichenyang453 前端
    Promise的案例我们直接上案例然后通过案例去解释理解。我们的代码模拟的是去前端访问服务器获取数据然后渲染到页面上，服务器模拟的也是去访问其他地址获取数据然后返还给前端。importReactfrom'react'importHeaderfrom'./components/Header'import{useEffect,useState}from'react'import{useRoutes}f
  • 【北上广深杭大厂编程面试题】C++篇...这里介绍C++是如何实现多态的？（三） 努力毕业的小土博^_^ 计算机基础知识和编程c++面试java开发语言职场和发展
    【北上广深杭大厂编程面试题】C++篇…这里介绍C++是如何实现多态的？（三）【北上广深杭大厂编程面试题】C++篇…这里介绍C++是如何实现多态的？（三）文章目录【北上广深杭大厂编程面试题】C++篇...这里介绍C++是如何实现多态的？（三）前言3.纯虚函数与抽象类示例代码：纯虚函数与抽象类输出：4.虚函数的动态绑定与vtablevtable工作原理：总结欢迎铁子们点赞、关注、收藏！祝大家逢考必过！
  • 【向上教育】国企面试手册(OCR).pdf ㏕追忆似水年华あ 人工智能大数据算法旅游c语言
    国企各省面试的形式主要是结构化面试，也有少部分单位采用无领导小组讨论的面试形式。全面了解面试形式是考生须知的重要信息之一。一、结构化面试结构化面试，也称标准化面试，是相对于传统的经验型面试而言的，是根据科学制定的评价指标，运用特定的问题、评价方法和评价标准，严格遵循特定程序，通过测评人员与被测试者进行语言交流，对被测试者进行评价的标准化过程。(一)结构化面试之三大规范1.考题规范化（1）测评要素一
  • 终端文件查看终极奥义：是时候升级你的`cat`了！——揭秘`bat`：一个你相见恨晚的命令行神器 wylee bashcatbat
    前言：告别“原始时代”，你的终端值得拥有更美的视界！作为一名常年与代码、日志、配置文件打交道的开发者或系统管理员，终端无疑是我们最亲密的伙伴。我们习惯了用ls列出文件，用grep搜索内容，当然，也少不了用cat来查看文件的内容。然而，你是否曾无数次地面对一堆密密麻麻、黑白灰相间的代码或日志，感到眼睛疲劳、心生烦躁？传统的cat命令，它简单、直接、高效，但它也仅仅是“打印”而已。它不会帮你区分代码结
  • 告别UI烦恼，效率飙升！Android UI宝藏库深度解析，让你的APP瞬间惊艳 wylee uiandroid
    前言：AndroidUI开发，你的痛点我懂！各位Android开发路上的朋友们，你们是否也曾被UI开发所困扰？重复造轮子？每次新项目，那些经典的加载动画、弹窗、导航栏，是不是都要从头开始写，或者在旧项目中翻箱倒柜？UI丑陋，缺乏美感？辛辛苦苦实现的功能，却因为UI不够精致，导致用户体验大打折扣，甚至被吐槽“像上个世纪的应用”？效率低下？为了实现一个酷炫的动画效果，不得不投入大量时间去学习复杂的动画
  • 这份「零基础」机器学习实战课程，帮你彻底搞懂AI不再迷茫！——深度解析ML-For-Beginners wylee 人工智能机器学习
    引言：告别迷茫，拥抱AI未来在当今科技浪潮之巅，人工智能（AI）无疑是最璀璨的明星。机器学习（MachineLearning），作为AI的核心驱动力，正以前所未有的速度渗透到我们生活的方方面面：从智能推荐系统到自动驾驶，从疾病诊断到金融风控，其应用场景几乎无处不在。然而，对于无数渴望投身AI领域的学习者而言，机器学习的门槛似乎一直高不可攀。你是否也曾有过这样的困惑：面对海量的在线课程和资料，眼花缭
  • 【AI】为Cursor配置MCP服务器 自学也学好编程 AIMCP人工智能aiAI编程
    title:【AI】为Cursor配置MCP服务器categories:AItags:CursorMCPAI编程开发工具AI一、Cursor与MCP服务简介Cursor是一款AI驱动的代码编辑器，通过集成大型语言模型（LLM）帮助开发者更高效地编写代码。而MCP（ModelContextProtocol）是由Anthropic推出的开放标准协议，它允许AI模型与外部工具、数据和系统无缝交互，极大扩
  • 【学习】《算法图解》第六章学习笔记：广度优先搜索 自学也学好编程 程序人生
    前言《算法图解》第六章为我们介绍了一种基础且强大的图搜索算法——**广度优先搜索(Breadth-FirstSearch,BFS)**。这种算法能够系统地探索图中的节点，常用于解决两类核心问题：一是判断从一个节点到另一个节点是否存在路径；二是在无权图中找到两个节点之间的最短路径。本笔记将深入探讨图的基本概念、BFS的工作原理、其实现方式以及相关的性能分析。一、图（Graph）简介在讨论BFS之前，
  • 【AI】MCP协议详解与应用实践 自学也学好编程 AIMCP人工智能
    一、MCP协议简介MCP（ModelContextProtocol）是一种开放标准协议，由Anthropic推出，旨在建立AI模型与外部工具、数据和系统之间的桥梁。通过MCP，AI模型可以请求使用外部工具完成特定任务，并将结果返回给模型，从而提供更准确的回应。1.MCP的核心价值功能扩展：让AI能够访问外部数据、API和工具自动化工作流：通过工具可以自动化许多开发任务定制化能力：根据特定需求定制A
  • 【软考高项论文】论信息系统项目的质量管理 _Richard_ 软考高项论文软考高项软考高级信息系统项目管理师
    摘要在信息系统项目管理中，质量管理是保障项目成果符合预期、满足用户需求与业务目标的关键。本文以2024年6月启动的一个典型信息系统项目为例，详细阐述了信息系统项目质量管理的过程，包括质量规划、质量控制和质量保证三个核心活动及其目的、涉及角色与主要工作成果。同时，介绍了质量保证的实施步骤，如建立质量政策、制定质量保证计划等。此外，还为QA制定了质量核对单，涵盖需求文档、设计文档等多个方面，以确保项目
  • MATLAB算法实战应用案例精讲-【数模应用】主效应&交互效应&单独效应 林聪木 matlab算法开发语言
    目录前言几个相关概念因素和水平主效应单纯主效应交互作用效应或影响（effect）因素之间的相互制约和影响两因素交互作用三因素及多因素交互作用几个高频面试题目什么是主效应,交互效应,单独效应？回归分析中是必须加入控制变量的吗？如果假如控制变量之后，显著性不高了该怎么办？控制变量说明控制变量选择控制变量处理主效应和交互效应的联系与区别如何依据主效应和交互效应描述结果？算法原理数学模型主效应二分变量交互
  • python 内存空间管理、垃圾回收机制、对象的引用机制、引用计数法 贵哥的编程之路(热爱分享 为后来者) 开发语言python
    一、对象与内存空间在Python中，一切皆对象。每当你创建一个变量、数据结构、函数、类实例等，Python都会在内存中为它分配空间。对象的内存空间由Python的内存管理器自动分配和回收，开发者无需手动管理。二、垃圾回收（GarbageCollection）垃圾回收指的是：当对象不再被使用时，Python会自动销毁该对象并释放其占用的内存空间。这样可以防止“内存泄漏”，让程序长期运行也不会因为无用
  • 【学习】《算法图解》第七章学习笔记：树 自学也学好编程 程序人生
    前言在前面的章节中，我们学习了数组、链表、散列表等基本数据结构，以及一些基础算法。本章将介绍一种非常重要的数据结构——树(Tree)，特别是二叉搜索树(BinarySearchTree)。树结构在计算机科学中应用广泛，从文件系统到数据库再到人工智能，都能看到树的身影。《算法图解》第七章深入浅出地介绍了树的基本概念、实现和应用，帮助读者理解这一关键数据结构。一、树的基本概念（一）什么是树树是一种分层
  • 告别迷茫！GitHub上这本《系统设计101》，我愿称之为“架构圣经” wylee 架构
    各位CSDN的读者朋友们，你们是否也曾被系统设计这道“拦路虎”困扰？在软件开发的世界里，从写出能跑的代码到设计出高性能、高可用、可伸缩、易维护的复杂系统，中间隔着一道巨大的鸿沟。无论是面试中那些让人头大的“设计一个短链接系统”、“设计一个高并发的消息队列”，还是工作中面对系统扩容、性能瓶颈、稳定性挑战时的焦头烂额，无一不在提醒我们：系统设计，是程序员进阶架构师的必经之路，也是真正区分高级工程师与普
  • 多云环境密钥硬核防护：KDPS如何实现千万级密钥生命周期管理？ 安 当 加 密 安全
    当GitHub2023年报告显示63%的数据泄露源自测试环境时，某证券公司因测试机密钥硬编码导致量化模型被盗的教训，揭示了多云时代的安全真相：分散的密钥管理=为黑客铺就黄金路。上海安当KDPS关键数据保护系统，以国密认证的KSP密钥中台+HSM硬件加密机为核心，构建千万级密钥的“中央管控引擎”。本文从三大维度拆解其硬核能力：一、密钥管理“铁三角”：集中化、自动化、合规化能力维度传统方案痛点KDPS
  • 民生银行·企业文化与行业知识 weixin_44589682 企业文化业界资讯
    民生银行·企业文化与行业知识介绍概况文化战略体系战略定位发展策略特色优势荣誉新闻20245.22民生银行首个光伏发电“绿色金融大楼”项目投用5.11SRP2024中国年会暨中国区年度奖项颁奖仪式4.8获准设立伦敦分行3.282023年年度报告3.18“绿色无限·碳索未来”CCER碳市场金融服务推广会3.18国际知名财经杂志《财资》(“TheAsset”)“TheAssetTripleASustai
  • 【机器学习&深度学习】前馈神经网络（单隐藏层） 一叶千舟 深度学习【理论】机器学习深度学习神经网络
    目录一、什么是前馈神经网络？二、数学表达式是什么？三、为什么需要“非线性函数”？四、NumPy实现前馈神经网络代码示例五、运行结果六、代码解析6.1初始化部分6.2前向传播6.3计算损失（Loss）6.4反向传播（手动）6.5更新参数（梯度下降）6.6循环训练七、训练过程可视化（思维图）八、关键问题答疑Q1：为什么需要隐藏层？Q2：ReLU是干嘛的？Q3：学习率怎么选？九、总结学习建议在机器学习中
  • Java代理模式之静态代理 爪哇手记 #Java知识点代理模式笔记java设计模式学习
    一、静态代理的定义与核心原理静态代理是代理模式的一种实现方式，其核心思想是通过代理类与目标类实现相同的接口，在代理类中调用目标类的方法，并在方法调用前后添加额外功能（如日志、权限校验、性能监控等）。代理类与目标类的关系在编译时已确定，代理类需手动编写。核心原理：接口统一：代理类和目标类实现相同的接口，确保客户端通过接口调用时透明。委托调用：代理类内部持有一个目标对象的引用，通过调用目标对象的方法实
  • 提示工程入门指南：如何有效地与大语言模型交互 止观止 大语言模型语言模型人工智能
    本文深入拆解提示工程的核心概念、最佳实践和实用技巧。作为AI领域的热点技术，提示工程（PromptEngineering）能显著提升大语言模型（LargeLanguageModel,LLM）如DeepSeek的响应质量。文档结构概览引言：为什么需要提示工程？提示的定义与结构：上下文、指令、约束的完整解析提示工程原则：6项核心技巧有效vs无效提示对比：案例驱动的实操分析用户提示与系统提示：行为控制的
  • Spring Security 的方法级权限控制是如何利用 AOP 的？ 冰糖心书房 SpringAOPspringjava后端aop
    SpringSecurity的方法级权限控制是AOP技术在实际应用中一个极其强大的应用典范。它允许我们以声明式的方式保护业务方法，将安全规则与业务逻辑彻底解耦。核心思想：权限检查的“门卫”你可以把AOP在方法级安全中的作用想象成一个尽职尽责的“门卫”。目标方法(deleteUser):一个重要的、需要保护的房间。调用方(Caller):想要进入这个房间的人。权限注解(@PreAuthorize,@
  • python开发框架django/flask/fastapi对比 研创通之逍遥峰 Pythonpythondjangoflask
    Python三大Web开发框架对比：DjangovsFlaskvsFastAPIPython生态系统中有三个主流的Web开发框架：Django、Flask和FastAPI。它们在设计哲学、功能特性和适用场景上各有不同。1.框架概览对比特性DjangoFlaskFastAPI类型全功能框架微框架现代异步框架学习曲线较陡峭平缓中等内置功能ORM,Admin,Auth,模板仅基础路由和模板自动文档,数据
  • LeetCode[Math] - #66 Plus One Cwind javaLeetCode题解AlgorithmMath
    原题链接：#66 Plus One   要求： 给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。 注意： 1. 数字的较高位存在数组的头上，即num1表示数字1239 2. 每一位（数组中的每个元素）的取值范围为0~9   难度：简单   分析： 题目比较简单，只须从数组
  • JQuery中$.ajax()方法参数详解 AILIKES JavaScriptjsonpjqueryAjaxjson
    url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。 type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和    delete也可以使用，但仅部分浏览器支持。 timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
  • JConsole & JVisualVM远程监视Webphere服务器JVM Kai_Ge JVisualVMJConsoleWebphere
        JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。 　　使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。 　　首先我们看WAS服务器端的配置. 　　1、登录was控制台https://10.4.119.18
  • 自定义annotation 120153216 annotation
    Java annotation 自定义注释@interface的用法 一、什么是注释      说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
  • CentOS 5/6.X 使用 EPEL YUM源 2002wmj centos
    CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
  • 在SQLSERVER中查找缺失和无用的索引SQL 357029540 SQL Server
    --缺失的索引 SELECT  avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement ,          last_user_seek ,    
  • Spring3 MVC 笔记（二） —json+rest优化 7454103 Spring3 MVC
    接上次的 spring mvc 注解的一些详细信息！                          其实也是一些个人的学习笔记  呵呵！
  • 替换“\”的时候报错Unexpected internal error near index 1 \ ^ adminjun java“\替换”
    发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘...   在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常   public class Main {          /*
  • POJ 1035 Spell checker(哈希表) aijuans 暴力求解--哈希表
    /* 题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词 要求按照输入时候的排名输出 题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重 */ #include <iostream> //#define using namespace std; const int HASH =
  • 通过原型实现javascript Array的去重、最大值和最小值 ayaoxinchao JavaScriptarrayprototype
    用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。 实现代码如下：   <script type="text/javascript"> Array.prototype.unique = function() { var a = {}; var le
  • UIWebView实现https双向认证请求 bewithme UIWebViewhttpsObjective-C
              什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求 中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
  • NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存) bijian1013 redis数据库NoSQL
    3.事务处理         Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
  • 各数据库分页sql备忘 bingyingao oraclesql分页
    ORACLE 下面这个效率很低 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20; 下面这个效率很高 SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
  • 【Scala七】Scala核心一：函数 bit1129 scala
    1. 如果函数体只有一行代码，则可以不用写{},比如 def print(x: Int) = println(x) 一行上的多条语句用分号隔开，则只有第一句属于方法体，例如   def printWithValue(x: Int) : String= println(x); "ABC"   上面的代码报错，因为，printWithValue的方法
  • 了解GHC的factorial编译过程 bookjovi haskell
    GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。 关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
  • Java-Collections Framework学习与总结-LinkedHashMap BrokenDreams LinkedHashMap
            前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。       
  • 读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory bylijinnan abstract
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * Abstract Factory Pattern * 抽象工厂模式的目的是： * 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇” * 这些接口是相关或者相依赖的
  • 压暗面部高光 cherishLC PS
    方法一、压暗高光&重新着色 当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。 下面讲一下我今天处理高光区域的心得： 皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。 处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。 如果想简化步骤，可以只进行着色（参看下面的步骤1
  • Java VisualVM监控远程JVM crabdave visualvm
    Java VisualVM监控远程JVM    JDK1.6开始自带的VisualVM就是不错的监控工具. 这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面   通过JMX连接远程机器, 需要经过下面的配置: 1. 修改远程机器JDK配置文件 (我这里远程机器是linux).    
  • Saiku去掉登录模块 daizj saiku登录olapBI
    1、修改applicationContext-saiku-webapp.xml <security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" />  <security:intercept-url pattern=&qu
  • 浅析 Flex中的Focus dsjt htmlFlexFlash
    关键字：focus、 setFocus、 IFocusManager、KeyboardEvent 焦点、设置焦点、获得焦点、键盘事件 一、无焦点的困扰——组件监听不到键盘事件 原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
  • Yii全局函数使用 dcj3sjt126com yii
    由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址) 我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
  • 设计模式之单例模式二（解决无序写入的问题） come_for_dream 单例模式volatile乱序执行双重检验锁
                    在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
  • 程序员从初级到高级的蜕变 gcq511120594 框架工作PHPandroidhtml5
    软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。 我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。 现在我们把淫浸代码时间超过3年的开发人员称为
  • Reverse Linked List hcx2013 list
    Reverse a singly linked list.   /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ p
  • Spring4.1新特性——数据库集成测试 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • C# Ajax上传图片同时生成微缩图(附Demo) liyonghui160com
        1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx）         2.C#位图处理  System.Drawing。         3.最新demo支持IE7,IE8,Fir
  • Java list三种遍历方法性能比较 pda158 java
    从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下： package com.hisense.tiger.list; import java.util.ArrayList; import java.util.Iterator;
  • 300个涵盖IT各方面的免费资源（上）——商业与市场篇 shoothao seo商业与市场IT资源免费资源
    A.网站模板+logo+服务器主机+发票生成 HTML5 UP:响应式的HTML5和CSS3网站模板。 Bootswatch:免费的Bootstrap主题。 Templated:收集了845个免费的CSS和HTML5网站模板。 Wordpress.org|Wordpress.com:可免费创建你的新网站。 Strikingly:关注领域中免费无限的移动优
  • localStorage、sessionStorage uule localStorage
    W3School 例子   HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储   之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他