熵编码
熵编码(entropy encoding)是一类利用数据的统计信息进行压缩的无语义数据流之无损编码。本章先介绍熵的基本概念，然后介绍香农-范诺(Shannon-Fano)编码、哈夫曼(Huffman)编码、算术编码(arithmetic coding)、行程编码(RLE)和LZW编码等常用的熵编码方法。
1 熵
熵(entropy)本来是热力学中用来度量热力学系统无序性的一种物理量（热力学第二定律：孤立系统内的熵恒增）：
对可逆过程，（孤立系统）
其中，S为熵、Q为热量、T为绝对温度。
（信息）熵H的概念则是美国数学家Claude Elwood Shannon（香农 /仙农 / 向农）于1948年在他所创建的信息论中引进的，用来度量信息中所含的信息量：（为自信息量的均值/数学期望）
其中，H为信息熵（单位为bit），S为信源，pi为符号si在S中出现的概率。
例如，一幅256级灰度图像，如果每种灰度的像素点出现的概率均为pi=1/256，则
即编码每一个像素点都需要8位(I )，平均每一个像素点也需要8位(H)。
2 Shannon-Fano编码
按照Shannon所提出的信息理论，1948年和1949年分别由Shannon和MIT的数学教授Robert Fano描述和实现了一种被称之为香农-范诺(Shannon-Fano)算法的编码方法，它是一种变码长的符号编码。
l 算法
Shannon-Fano算法采用从上到下的方法进行编码：首先按照符号出现的概率排序，然后从上到下使用递归方法将符号组分成两个部分，使每一部分具有近似相同的频率，在两边分别标记0和1，最后每个符号从顶至底的0/1序列就是它的二进制编码。
l 例子
符号
A
B
C
D
E
出现的次数
15
7
7
6
5
例如，有一幅40个像素组成的灰度图像，灰度共有5级，分别用符号A、B、C、D和E表示，40个像素中各级灰度出现次数见表2。
如果直接用二进制编码，则5个等级的灰度值需要3位表示，也就是每个像素用3位表示，编码这幅图像总共需要40 * 3 = 120位。按照香农理论，这幅图像的熵为
H = (15/40)×log2(40/15) + (7/40)×log2 (40/7) + (7/40)×log2(40/7)
+ (6/40)×log2 (40/6) + (5/40) ×log2 (40/5) ≈ 2.196
这就是说平均每个符号用2.196位表示就够了，40个像素共需用87.85位，压缩比约为3 / 2.196 ≈ 1.366 : 1。
按照Shannon-Fano算法，先按照符号出现的频度或概率排序：A、B、C、D、E，然后分成次数相近的左右两个部分——AB(22)与CDE(18)，并在两边分别标记0和1（见图 1）。
然后类似地再将AB分成A(15)与B(7)、CDE分成C(7)与DE(11)，最后再把DE分成D(6)与E(5)，参见图 2和表 3。
符号
次数(pi)
log2(1/pi)
编码
需位数
A
15 (0.375)
1.4150
00
30
B
7 (0.175)
2.5145
01
14
C
7 (0.175)
2.5145
10
14
D
6 (0.150)
2.7369
110
18
E
5 (0.125)
3.0000
111
15
合计
40 (1)
12.1809
91
按照这种方法进行编码得到的总位数为91，平均码长为91/40 = 2.275，实际的压缩比为120 / 91 ≈ 1.319 : 1。
3 Huffman编码
l 哈夫曼编码
Fano的学生David Albert Huffman（哈夫曼/赫夫曼/霍夫曼）在1952年提出了一种从下到上的编码方法，它是一种统计最优的变码长符号编码，让最频繁出现的符号具有最短的编码。
1．编码过程
Huffman编码的过程 = 生成一棵二叉树（H树），树中的叶节点为被编码符号及其概率、中间节点为两个概率最小符号（串）的并所构成的符号串及其概率所组成的父节点、根节点为所有符号之串及其概率1。
2．编码步骤
(1) 将符号按概率从小到大顺序从左至右排列叶节点；
(2) 连接两个概率最小的顶层节点来组成一个父节点，并在到左右子节点的两条连线上分别标记0和1；
(3) 重复步骤2，直到得到根节点，形成一棵二叉树；
(4) 从根节点开始到相应于每个符号的叶节点的0/1串，就是该符号的二进制编码。
由于符号按概率大小的排列既可以从左至右、又可以从右至左，而且左右分枝哪个标记为0哪个标记为1是无关紧要的，所以最后的编码结果可能不唯一，但这仅仅是分配的代码不同，而代码的平均长度是相同的。
3．例子
仍以上小节的40像素的图像为例，来进行Huffman编码，参见图 3和表 4。
符号
次数(pi)
log2(1/pi)
编码
需位数
A
15 (0.375)
1.4150
1
15
B
7 (0.175)
2.5145
011
21
C
7 (0.175)
2.5145
010
21
D
6 (0.150)
2.7369
001
18
E
5 (0.125)
3.0000
000
15
合计
40 (1)
12.1809
90
平均码长为90/40 = 2.25，压缩比也为120/90= 4/3 ≈ 1.333 : 1。
l 香农-范诺编码与哈夫曼编码
香农-范诺编码和哈夫曼编码都属于不对称、无损、变码长的熵编码。
1．同步代码
它们的码长虽然都是可变的，但却都不需要另外附加同步代码（即在译码时分割符号的特殊代码）。如上例中，若哈夫曼编码的码串中的头两位为01，那末肯定是符号A，因为表示其他符号的代码没有一个是以01开始的，因此下一位就表示下一个符号代码的第1位。同样，如果出现“000”，那么它就代表符号C。如果事先编写出一本解释各种代码意义的“词典”，即码簿（H表），那么就可以根据码簿一个码一个码地依次进行译码。（感觉出错了，讲的不对）
2．问题
采用香农-范诺编码和哈夫曼编码时有两个问题值得注意：
n 没有错误保护功能，在译码时，如果码串中有哪怕仅仅是1位出现错误，则不但这个码本身译错，而且后面的码都会跟着错。称这种现象为错误传播(error propagation)，计算机对这种错误也无能为力，不能知道错误出在哪里，更谈不上去纠正它。
n 是可变长度码，因此很难在压缩文件中直接对指定音频或图像位置的内容进行译码，这就需要在存储代码之前加以考虑。
3．比较
与香农-范诺编码相比，哈夫曼编码方法的编码效率一般会更高一些。尽管存在上面这些问题，但哈夫曼编码还是得到了广泛应用。
l H表与自适应哈夫曼编码
1．H表
利用哈夫曼方法进行编解码，在编码时需要计算造H表（哈夫曼表），存储和传输时需要存储和传输H表，解码时则需要查H表。有时为了加快编码速度、减少存储空间和传输带宽，可以对多媒体数据使用标准的H表，但其压缩率一般比计算所造的表稍低。
所以，如果只关心编码速度、存储空间和传输带宽，可以采用标准H表方法；如果更关心压缩质量和压缩比，则可以自己计算造H表。即使是计算造表，也一般只对高频符号计算编码，而对其他符号则直接编码。这种方法尤其适用于有大量不同的输入符号，但只有少数高频符号的情况。
2．自适应哈夫曼编码
还有一种自适应哈夫曼编码(adaptive Huffman coding)，不需要存储和传输H表，而是按与编码严格一致的方法建立同样的H表，还可以利用兄弟节点的特征来加快更新H树的过程。由于时间有限，这里就不做详细介绍。
4 算术编码
算术编码(arithmetic coding)是由P.Elias于1960年提出雏形、R.Pasco和J.Rissanen于1976年提出算法，由Rissanen和G.G.Langdon于1979年系统化并于1981年实现，最后由Rissanen于1984年完善并发布的一种无损压缩算法。从信息论上讲是与Huffman编码一样的最优变码长的熵编码。其主要优点是，克服了Huffman编码必须为整数位，这与实数的概率值相差大的缺点。如在Huffman编码中，本来只需要0.1位就可以表示的符号，却必须用1位来表示，结果造成10 倍的浪费。？？？？？？？？？？？？？？
算术编码所采用的解决办法是，不用二进制代码来表示符号，而改用[0，1)中的一个宽度等于其出现概率的实数区间来表示一个符号，符号表中的所有符号刚好布满整个[0，1)区间（概率之和为1）。把输入符号串（数据流）映射成[0，1)区间中的一个实数值。
l 编码方法
符号串编码方法：将串中使用的符号表按原编码（如字符的ASCII编码、数字的二进制编码）从小到大顺序排列成表，计算表中每种符号si出现的概率pi，然后依次根据这些符号概率大小pi来确定其在[0, 1)期间中对应的小区间范围[xi, yi)：
其中，p0 = 0。显然，符号si所对应的小区间的宽度就是其概率pi。参见图 4。
s1 s2 ...... si ...... sm
0|x1 p1 y1|x2 p2 y2 ...... xi pi yi ...... xm pm ym|1
图 4 算术编码的字符概率区间
然后对输入符号串进行编码：设串中第j个符号cj为符号表中的第i个符号si，则可根据si在符号表中所对应区间的上下限xi和yi，来计算编码区间Ij = [lj, rj)：
序号
符号
pi
[xi, yi)
1
d
0.1
[0.0, 0.1)
2
e
0.1
[0.1, 0.2)
3
h
0.1
[0.2, 0.3)
4
l
0.3
[0.3, 0.6)
5
o
0.2
[0.6, 0.8)
6
r
0.1
[0.8, 0.9)
7
w
0.1
[0.9, 1.0)
其中，dj = rj - lj为区间Ij的宽度，l0 = 0，r0 = 1，d0 = 1。显然，lj↑而dj与rj↓。串的最后一个符号所对应区间的下限ln就是该符号串的算术编码值。
例如：输入符号串为“helloworld”（10个字符），符号表含7个符号，按字母顺序排列，容易计算它们各自出现概率和所对应的区间，参见表 5。
表 6是对输入符号串“helloworld”的编码过程。
表 6 算术编码的编码过程表
序号
符号
li
ri
di
0
初值
0.0
1.0
1.0
1
h
(0.0+1.0*0.2=) 0.2
(0.0+1.0*0.3=) 0.3
(0.3-0.2=) 0.1
2
e
(0.2+0.1*0.1=) 0.21
(0.2+0.1*0.2=) 0.22
(0.22-0.21=) 0.01
3
l
(0.21+0.01*0.3=) 0.213
(0.21+0.01*0.6=) 0.216
(0.216-0.213=) 0.003
4
l
(0.213+0.003*0.3=) 0.2139
(0.213+0.003*0.6=) 0.2148
(0.2148-0.2139=) 0.0009
5
o
(0.2139+0.0009*0.6=) 0.21444
(0.2139+0.0009*0.8=) 0.21462
(0.21462-0.21444=) 0.00018
6
w
0.214602
0.214620
0.0000018
7
o
0.2146128
0.2146164
0.00000036
8
r
0.21461568
0.21461604
0.000000036
9
l
0.214615788
0.214615896
0.0000000108
10
d
0.2146157880
0.2146157988
0.00000000108
编码输出为l10 = 0.2146157880。
算术编码的过程，也可以用图 5的映射来表示。
d e h l o r w
0.0 0.1 0.2 0.3 0.6 0.8 0.9 1.0
hd he hh hl ho hr hw
0.2 0.21 0.22 0.23 0.26 0.28 0.29 0.3
hed hee heh hel heo her hew
0.21 0.211 0.212 0.213 0.216 0.218 0.219 0.22
held hele helh hell helo helr helw
0.213 0.2133 0.2136 0.2139 0.2148 0.2154 0.2157 0.216
…… ……
helloworl
0.21461568 0.214615788 0.214615896 0.21461604
helloworld
0.214615788 0.214615896
0.2146157880 ←输出 0.2146157988
图 5 算术编码的过程
l 解码方法
j
vj
i
cj = s i
1
0.2146157880
3
h
2
(0.2146157880 - 0.2) / 0.1 = 0.14615788
2
e
3
(0.14615788 - 0.1) / 0.1 = 0.4615788
4
l
4
(0.4615788 - 0.3) / 0.3 = 0.538596
4
l
5
(0.538596 - 0.3) / 0.3 = 0.79532
5
o
6
(0.79532 - 0.6) / 0.2 = 0.9766
7
w
7
(0.9766 - 0.9) / 0.1 = 0.766
5
o
8
(0.766 - 0.6) / 0.2 = 0.83
6
r
9
(0.83 - 0.8) / 0.1 = 0.3
4
l
10
(0.3 - 0.3) / 0.3 = 0.0
1
d
由符号表（包括符号对应的概率与区间）和实数编码ln，可以按下面的解码算法来重构输入符号串：
设v1 = ln = 码值
若vj ∈[xi , yi) → cj = si , j = 1, … , n
vj+1 = (vj - xi) / pi , j = 1, … , n-1
例如上例的解码过程见下表 7，重构输入符号串为v10 = “helloworld”。
l 若干说明
1．问题
在算术编码中需要注意的几个问题：
(1) 由于实际计算机的浮点运算器不够长（一般为80位），可用定长的整数寄存器低进高出来接收码串，用整数差近似实数差来表示范围，但可能会导致误差积累。
(2) 算术编码器对整个消息只产生一个码字，这个码字是在间隔[0, 1)中的一个实数，因此译码器在接受到表示这个实数的所有位之前不能进行译码。
(3) 算术编码也是一种对错误很敏感的编码方法，如果有一位发生错误就会导致整个字符序列被译错。
2．静态与自适应
算术编码可以是静态的或者自适应的。在静态算术编码中，信源符号的概率是固定的。在自适应算术编码中，信源符号的概率根据编码时符号出现的频繁程度动态地进行修改。需要开发动态算术编码的原因是因为事先知道精确的信源概率是很难的，而且是不切实际的。当压缩数据时，我们不能期待一个算术编码器获得最大的效率，所能做的最有效的方法是在编码过程中估算概率，它成为确定编码器压缩效率的关键。
5 RLE
行程编码RLE（Run Length Encoding游程长度编码）是一种使用广泛的简单熵编码。它被用于BMP、JPEG/MPEG、TIFF和PDF等编码之中，还被用于传真机。
l RLE的编码方法
RLE视数字信息为无语义的字符序列（字节流），对相邻重复的字符，用一个数字表示连续相同字符的数目（称为行程长度），可达到压缩信息的目的。如
未压缩的数据：ABCCCCCCCCDEFFGGG
RLE编码：AB8CDEFF3G
对比该RLE编码例前后的代码数可以发现，在编码前要用17个代码表示的数据，而编码后只要用10个代码，压缩比为1.7 : 1。这说明RLE确实是一种压缩技术，而且这种编码技术相当直观，也非常经济。RLE所能获得的压缩比有多大，这主要是取决于数据本身的特点。如果图像数据（如人工图形）中具有相同颜色的图像块越大，图像块数目越少，获得的压缩比就越高。反之（如自然照片），压缩比就越小。
RLE译码采用与编码相同的规则，还原后得到的数据与压缩前的数据完全相同。因此，RLE是一种无损压缩技术。
RLE压缩编码特别适用于计算机生成的图形，对减少这类图像文件的存储空间非常有效。然而，RLE对颜色丰富多变的自然图像就显得力不从心，这时在同一行上具有相同颜色的连续像素往往很少，而连续几行都具有相同颜色值的连续行数就更少。如果仍然使用RLE编码方法，不仅不能压缩图像数据，反而可能使原来的图像数据变得更大。
但是，这并不意味着RLE编码方法在自然图像的压缩中毫无用处，恰恰相反，在各种自然图像的压缩方法中（如JPEG），仍然不可缺少RLE。只不过，不是单独使用RLE一种编码方法，而是和其他压缩技术联合应用。
第一字节
>0：重复的像素数
第二字节
BI_RLE8：一个颜色索引值(8b)
BI_RLE4：两个颜色索引值（各4 b，高4位为第一个像素，低4位为第二个像素）
l BMP中的RLE
1．编码
在BMP文件中，对16色和256色的普通格式的位图可进行RLE压缩（BI_RLE4和BI_RLE8），编码由若干信息单位构成，每个信息单位有2个字节。
信息单位的第一个字节一般为同一颜色索引的像素数，这时第二个字节对BI_RLE8为一个颜色索引(8b)，对BI_RLE4为两个颜色索引（各4b，高4位为第一个像素，低4位为第二个像素）。参见表 8。
第一字节
0：特殊含义
第二字节
0：线结束
1：位图结束
2：偏移（后跟的两个字节分别表示从当前位置向右和向下偏移的像素数）?
3~255：后跟的未压缩的像素（色索引）数
若信息单位的第一个字节为0，这时，第二个字节表示特殊意义：0—线结束、1—位图结束、2—偏移（后跟的两个字节分别表示从当前位置向右和向下偏移的像素数）、3~255—后跟的未压缩的像素（颜色索引）数（填充到双字节边界，不足时补0）。参见表 9。
2．例子
1）BI_RLE8
Compressed data Expanded data
03 04 04 04 04
05 06 06 06 06 06 06
00 03 45 56 67 00 45 56 67
02 78 78 78
00 02 05 01 Move 5 right and 1 down
02 78 78 78
00 00 End of line
09 1E 1E 1E 1E 1E 1E 1E 1E 1E 1E
00 01 End of RLE bitmap
2）BI_RLE4
Compressed data Expanded data
03 04 0 4 0
05 06 0 6 0 6 0
00 06 45 56 67 00 4 5 5 6 6 7
04 78 7 8 7 8
00 02 05 01 Move 5 right and 1 down
04 78 7 8 7 8
00 00 End of line
09 1E 1 E 1 E 1 E 1 E 1
00 01 End of RLE bitmap
6 LZW算法
LZW算法被GIF和PNG格式的图像压缩所采用，并被广泛应用于文件的压缩打包（如ZIP和RAR）和磁盘压缩。
因为它不需要执行那么多的缀符串比较操作，所以LZW算法的速度比LZ77算法的快。对LZW算法进一步的改进是增加可变的码字长度，以及在词典中删除老的缀符串。在GIF图像格式和各种文件和磁盘压缩程序中已经采用了这些改进措施之后的LZW算法。
LZW是一种专利算法，专利权的所有者是美国的一个大型计算机公司——Unisys(优利系统公司)。不过，除了商业软件生产公司需要支付专利费外，个人则是可以免费使用LZW算法的。
l 概述
1977年以色列Jakob Ziv和Abraham Lempel提出了一种基于词典编码的压缩缩法，称为LZ77算法；1978年他们对该算法作了改进，称为LZ78；1984年Terry A.Weltch又对LZ78进行了实用性修正，因此把这种编码方法称为LZW(Lempel-Ziv Walch)算法。
1．词典编码的思想
词典编码(dictionary encoding)的根据是数据（字符串）本身包含有重复代码块（词汇）这个特性。词典编码法的种类很多，可以分成两大类。
第一类词典编码的想法，是试图查找正在压缩的字符序列（词汇）是否在以前输入的数据中出现过，然后用已经出现过的字符串替代重复的部分，它的输出仅仅是指向早期出现过的字符串（词汇）的“指针”，参见图 6。
第二类词典编码的想法，是试图从输入的数据中创建一个“短语词典(dictionary of the phrases)”，这种“短语”（词汇/单词）不一定是像“computer计算机”和“programming程序设计”这类具有具体含义的短语，它可以是任意字符的组合。编码数据过程中当遇到已经在词典中出现的“短语”时，编码器就输出这个词典中的短语的“索引号”，而不是短语本身，参见图 7。
2．LZW与LZ78
LZ78是首个第二类词典编码，1984年提出的LZW压缩编码也属于这类编码，它是对LZ78进行了实用性修正后提出的一种逻辑简单、速度快、硬件实现廉价的压缩算法，并首先在高速硬盘控制器上应用了这种算法。
在LZW算法中使用的术语与LZ78使用的相同，仅增加了一个术语—前缀根(Root)，它是由单个字符串组成的缀符串(String)。
在编码原理上，LZW与LZ78相比有如下差别：
① LZW只输出代表词典中的缀符串(String)的码字(code word)。这就意味在开始时词典不能是空的，它必须包含可能在字符流出现中的所有单个字符，即前缀根(Root)。
② 由于所有可能出现的单个字符都事先包含在词典中，每个编码步骤开始时都使用1个字符的前缀(one-character prefix)，因此在词典中搜索的第1个缀符串有两个字符。？？？？
l LZW编码
LZW算法是一种基于字典的编码——将变长的输入符号串映射成定长的码字——形成一本短语词典索引（串表），利用字符出现的频率冗余度及串模式高使用率冗余度达到压缩的目的。该算法只需一遍扫描，且具有自适应的特点（从空表开始逐步生成串表，码字长从像素位数n+1逐步增加到12），不需保存和传送串表。
串表具有前缀性——若串wc（c为字符）在表中，则串w也在串表中（所以，可初始化串表为含所有单个字符的串）。
匹配采用贪婪算法——每次只识别与匹配串表中最长的已有串w（输出对应的码字）、并可与下一输入字符c拼成一个新的码字wc。
对串表的改进：用w的码字来代替wc中的w，则串表中的串等长；当串表已满时（一般表长为2^12），可清表重来（输出清表码字）。清表码字=2^n，结束码字=1+2^n。所以，第一个可用的多字符串的码字=2+2^n。
1．LZW压缩算法：
初始化：将所有单个字符的串放入串表ST中；（共2^n项[码字为0~2^n-1]，实际操作时不必放入，只需空出串表的前2^n项，字符对应码字所对应的串表索引即可）
读首字符入前缀串w；
设置码长codeBits=n+1；
设置串表中当前表项的索引值next=初始码字=2^n+2；
循环： 读下一输入字符c；
若c=EOF（文件结束符），则输出w的码字，结束循环（输出结束码字）；
若wc已在串表中，则w=wc，转到循环开始处；
否则，输出w的码字，将wc放入ST中的next处，next++；
令w=c，转到循环开始处；
若next的位数超过码长(>codeBits)，则codeBits++；
若串表已满（next的位数已超过最大码长12），则清空串表，输出清表码字，转到 初始化开始处。
2．LZW还原算法：
初始化：将所有单个字符的串放入串表ST中；（共2^n项[码字为0~2^n-1]，实际操作时不 必放入，只需空出串表的前2^n项，字符对应码字对应串表索引即可）
串表中当前表项的索引next=2^n+2；
设置码长codeBits=n+1；
读首个码字（所对应的单个字符）入老串old，输出该字符；
循环： 读下一码字new；
若new=结束码字，结束循环；
若new=清表码字，则清空串表，转到初始化开始处；
若new>=next，则输出串newStr= old+old[0]（例外处理）；
若new<next，则输出串newStr；
将old+newStr[0]放入串表ST[next]中，next++；
若next的位数超过码长(>codeBits)，则codeBits++；
但若加一后的codeBits > 12，则重新让codeBits = 12；
old=newStr，转到循环开始处。
其中：newStr=ST[new]（即串表中索引为new的串）
3．例子
位置
1
2
3
4
5
6
7
8
9
字符
A
B
B
A
B
A
B
A
C
被编码字符串见表 10，它只包含3个不同的单字符A、B、C。
编码过程如表 11，译码过程如表 12。
表 11 LZW的编码过程 表 12 LZW的译码过程
其中：
n “步骤”栏表示编码步骤；
n “位置”栏表示在输入数据中的当前位置；
n “词典”栏表示添加到词典中的缀符串，它的索引在括号中；
n “输出”栏表示码字输出。
每个译码步骤译码器读一个码字，输出相应的缀符串，并把它添加到词典中。例如，在步骤4中，先前码字(2)（对应于单字符串“B”）存储在老码字(old)中，当前码字(new)是(4)，对应的当前缀符串newStr是输出(“AB”)，先前缀符串old ("B")加上当前缀符串newStr ("AB")的第一个字符“A”，其结果old+newStr[0]("BA") 添加到词典中（ST[next]），它的索引号next是(6) 。
l GIF文件格式
可交换图形格式（GIF=Graphics Interchange Format），由CompuServe公司于87年起定义，现有87a与89a两个主要版本，采用变长LZW压缩算法，只支持索引色（最多8位）。
GIF文件的格式见表 13~18：(其中，多字节整数的低位在前，无符号)
表 13 GIF文件格式 表 14 全局标志
其中：像素位数n = pixelBits = pixel+1 = 颜色位数colorBits = cr+1 = 1~8，
颜色数N = 2^pixelBits = 2^colorBits = 2^(1~8) = 2、4、8、16、32、64、128、256。
像素纵横比：若 = 0，则为1:1；若 > 0，则Aspect Ratio = (Pixel Aspect Ratio + 15) / 64。
表 15 数据块格式1（图像块） 表 16 局部标志
其中：像素位数n = pixelBits = pixel+1 = 1~8，颜色数N = 2^pixelBits = 2^(1~8)
I=1时为行交叉编码（用于渐显），行的交叉顺序为（4遍扫描）：
第一遍：0行、8行、……、8i行、……（0行起，隔8行）
第二遍：4行、12行、……、8i+4行、……（4行起，隔8行）
第三遍：2行、6行、……、4i+2行、……（2行起，隔4行）
第四遍：1行、3行、……、2i+1行、……（1行起，隔2行）
编码长度（码长）：初始码长，一般 = 像素位数n。实际的初始码长 = n+1。
表 17 数据块格式2（扩展块） 表 18 扩展块
熵编码(entropy encoding)是一类利用数据的统计信息进行压缩的无语义数据流之无损编码。本章先介绍熵的基本概念，然后介绍香农-范诺(Shannon-Fano)编码、哈夫曼(Huffman)编码、算术编码(arithmetic coding)、行程编码(RLE)和LZW编码等常用的熵编码方法。
1 熵
熵(entropy)本来是热力学中用来度量热力学系统无序性的一种物理量（热力学第二定律：孤立系统内的熵恒增）：
对可逆过程，（孤立系统）
其中，S为熵、Q为热量、T为绝对温度。
（信息）熵H的概念则是美国数学家Claude Elwood Shannon（香农 /仙农 / 向农）于1948年在他所创建的信息论中引进的，用来度量信息中所含的信息量：（为自信息量的均值/数学期望）
其中，H为信息熵（单位为bit），S为信源，pi为符号si在S中出现的概率。
例如，一幅256级灰度图像，如果每种灰度的像素点出现的概率均为pi=1/256，则
即编码每一个像素点都需要8位(I )，平均每一个像素点也需要8位(H)。
2 Shannon-Fano编码
按照Shannon所提出的信息理论，1948年和1949年分别由Shannon和MIT的数学教授Robert Fano描述和实现了一种被称之为香农-范诺(Shannon-Fano)算法的编码方法，它是一种变码长的符号编码。
l 算法
Shannon-Fano算法采用从上到下的方法进行编码：首先按照符号出现的概率排序，然后从上到下使用递归方法将符号组分成两个部分，使每一部分具有近似相同的频率，在两边分别标记0和1，最后每个符号从顶至底的0/1序列就是它的二进制编码。
l 例子
| 符号 |
A |
B |
C |
D |
E |
| 出现的次数 |
15 |
7 |
7 |
6 |
5 |
例如，有一幅40个像素组成的灰度图像，灰度共有5级，分别用符号A、B、C、D和E表示，40个像素中各级灰度出现次数见表2。
如果直接用二进制编码，则5个等级的灰度值需要3位表示，也就是每个像素用3位表示，编码这幅图像总共需要40 * 3 = 120位。按照香农理论，这幅图像的熵为
H = (15/40)×log2(40/15) + (7/40)×log2 (40/7) + (7/40)×log2(40/7)
+ (6/40)×log2 (40/6) + (5/40) ×log2 (40/5) ≈ 2.196
这就是说平均每个符号用2.196位表示就够了，40个像素共需用87.85位，压缩比约为3 / 2.196 ≈ 1.366 : 1。
按照Shannon-Fano算法，先按照符号出现的频度或概率排序：A、B、C、D、E，然后分成次数相近的左右两个部分——AB(22)与CDE(18)，并在两边分别标记0和1（见图 1）。
然后类似地再将AB分成A(15)与B(7)、CDE分成C(7)与DE(11)，最后再把DE分成D(6)与E(5)，参见图 2和表 3。
| 符号 |
次数(pi) |
log2(1/pi) |
编码 |
需位数 |
| A |
15 (0.375) |
1.4150 |
00 |
30 |
| B |
7 (0.175) |
2.5145 |
01 |
14 |
| C |
7 (0.175) |
2.5145 |
10 |
14 |
| D |
6 (0.150) |
2.7369 |
110 |
18 |
| E |
5 (0.125) |
3.0000 |
111 |
15 |
| 合计 |
40 (1) |
12.1809 |
|
91 |
按照这种方法进行编码得到的总位数为91，平均码长为91/40 = 2.275，实际的压缩比为120 / 91 ≈ 1.319 : 1。
3 Huffman编码
l 哈夫曼编码
Fano的学生David Albert Huffman（哈夫曼/赫夫曼/霍夫曼）在1952年提出了一种从下到上的编码方法，它是一种统计最优的变码长符号编码，让最频繁出现的符号具有最短的编码。
1．编码过程
Huffman编码的过程 = 生成一棵二叉树（H树），树中的叶节点为被编码符号及其概率、中间节点为两个概率最小符号（串）的并所构成的符号串及其概率所组成的父节点、根节点为所有符号之串及其概率1。
2．编码步骤
(1) 将符号按概率从小到大顺序从左至右排列叶节点；
(2) 连接两个概率最小的顶层节点来组成一个父节点，并在到左右子节点的两条连线上分别标记0和1；
(3) 重复步骤2，直到得到根节点，形成一棵二叉树；
(4) 从根节点开始到相应于每个符号的叶节点的0/1串，就是该符号的二进制编码。
由于符号按概率大小的排列既可以从左至右、又可以从右至左，而且左右分枝哪个标记为0哪个标记为1是无关紧要的，所以最后的编码结果可能不唯一，但这仅仅是分配的代码不同，而代码的平均长度是相同的。
3．例子
仍以上小节的40像素的图像为例，来进行Huffman编码，参见图 3和表 4。
| 符号 |
次数(pi) |
log2(1/pi) |
编码 |
需位数 |
| A |
15 (0.375) |
1.4150 |
1 |
15 |
| B |
7 (0.175) |
2.5145 |
011 |
21 |
| C |
7 (0.175) |
2.5145 |
010 |
21 |
| D |
6 (0.150) |
2.7369 |
001 |
18 |
| E |
5 (0.125) |
3.0000 |
000 |
15 |
| 合计 |
40 (1) |
12.1809 |
|
90 |
平均码长为90/40 = 2.25，压缩比也为120/90= 4/3 ≈ 1.333 : 1。
l 香农-范诺编码与哈夫曼编码
香农-范诺编码和哈夫曼编码都属于不对称、无损、变码长的熵编码。
1．同步代码
它们的码长虽然都是可变的，但却都不需要另外附加同步代码（即在译码时分割符号的特殊代码）。如上例中，若哈夫曼编码的码串中的头两位为01，那末肯定是符号A，因为表示其他符号的代码没有一个是以01开始的，因此下一位就表示下一个符号代码的第1位。同样，如果出现“000”，那么它就代表符号C。如果事先编写出一本解释各种代码意义的“词典”，即码簿（H表），那么就可以根据码簿一个码一个码地依次进行译码。（感觉出错了，讲的不对）
2．问题
采用香农-范诺编码和哈夫曼编码时有两个问题值得注意：
n 没有错误保护功能，在译码时，如果码串中有哪怕仅仅是1位出现错误，则不但这个码本身译错，而且后面的码都会跟着错。称这种现象为错误传播(error propagation)，计算机对这种错误也无能为力，不能知道错误出在哪里，更谈不上去纠正它。
n 是可变长度码，因此很难在压缩文件中直接对指定音频或图像位置的内容进行译码，这就需要在存储代码之前加以考虑。
3．比较
与香农-范诺编码相比，哈夫曼编码方法的编码效率一般会更高一些。尽管存在上面这些问题，但哈夫曼编码还是得到了广泛应用。
l H表与自适应哈夫曼编码
1．H表
利用哈夫曼方法进行编解码，在编码时需要计算造H表（哈夫曼表），存储和传输时需要存储和传输H表，解码时则需要查H表。有时为了加快编码速度、减少存储空间和传输带宽，可以对多媒体数据使用标准的H表，但其压缩率一般比计算所造的表稍低。
所以，如果只关心编码速度、存储空间和传输带宽，可以采用标准H表方法；如果更关心压缩质量和压缩比，则可以自己计算造H表。即使是计算造表，也一般只对高频符号计算编码，而对其他符号则直接编码。这种方法尤其适用于有大量不同的输入符号，但只有少数高频符号的情况。
2．自适应哈夫曼编码
还有一种自适应哈夫曼编码(adaptive Huffman coding)，不需要存储和传输H表，而是按与编码严格一致的方法建立同样的H表，还可以利用兄弟节点的特征来加快更新H树的过程。由于时间有限，这里就不做详细介绍。
4 算术编码
算术编码(arithmetic coding)是由P.Elias于1960年提出雏形、R.Pasco和J.Rissanen于1976年提出算法，由Rissanen和G.G.Langdon于1979年系统化并于1981年实现，最后由Rissanen于1984年完善并发布的一种无损压缩算法。从信息论上讲是与Huffman编码一样的最优变码长的熵编码。其主要优点是，克服了Huffman编码必须为整数位，这与实数的概率值相差大的缺点。如在Huffman编码中，本来只需要0.1位就可以表示的符号，却必须用1位来表示，结果造成10 倍的浪费。？？？？？？？？？？？？？？
算术编码所采用的解决办法是，不用二进制代码来表示符号，而改用[0，1)中的一个宽度等于其出现概率的实数区间来表示一个符号，符号表中的所有符号刚好布满整个[0，1)区间（概率之和为1）。把输入符号串（数据流）映射成[0，1)区间中的一个实数值。
l 编码方法
符号串编码方法：将串中使用的符号表按原编码（如字符的ASCII编码、数字的二进制编码）从小到大顺序排列成表，计算表中每种符号si出现的概率pi，然后依次根据这些符号概率大小pi来确定其在[0, 1)期间中对应的小区间范围[xi, yi)：
其中，p0 = 0。显然，符号si所对应的小区间的宽度就是其概率pi。参见图 4。
s1 s2 ...... si ...... sm
0|x1 p1 y1|x2 p2 y2 ...... xi pi yi ...... xm pm ym|1
图 4 算术编码的字符概率区间
然后对输入符号串进行编码：设串中第j个符号cj为符号表中的第i个符号si，则可根据si在符号表中所对应区间的上下限xi和yi，来计算编码区间Ij = [lj, rj)：
| 序号 |
符号 |
pi |
[xi, yi) |
| 1 |
d |
0.1 |
[0.0, 0.1) |
| 2 |
e |
0.1 |
[0.1, 0.2) |
| 3 |
h |
0.1 |
[0.2, 0.3) |
| 4 |
l |
0.3 |
[0.3, 0.6) |
| 5 |
o |
0.2 |
[0.6, 0.8) |
| 6 |
r |
0.1 |
[0.8, 0.9) |
| 7 |
w |
0.1 |
[0.9, 1.0) |
其中，dj = rj - lj为区间Ij的宽度，l0 = 0，r0 = 1，d0 = 1。显然，lj↑而dj与rj↓。串的最后一个符号所对应区间的下限ln就是该符号串的算术编码值。
例如：输入符号串为“helloworld”（10个字符），符号表含7个符号，按字母顺序排列，容易计算它们各自出现概率和所对应的区间，参见表 5。
表 6是对输入符号串“helloworld”的编码过程。
表 6 算术编码的编码过程表
| 序号 |
符号 |
li |
ri |
di |
| 0 |
初值 |
0.0 |
1.0 |
1.0 |
| 1 |
h |
(0.0+1.0*0.2=) 0.2 |
(0.0+1.0*0.3=) 0.3 |
(0.3-0.2=) 0.1 |
| 2 |
e |
(0.2+0.1*0.1=) 0.21 |
(0.2+0.1*0.2=) 0.22 |
(0.22-0.21=) 0.01 |
| 3 |
l |
(0.21+0.01*0.3=) 0.213 |
(0.21+0.01*0.6=) 0.216 |
(0.216-0.213=) 0.003 |
| 4 |
l |
(0.213+0.003*0.3=) 0.2139 |
(0.213+0.003*0.6=) 0.2148 |
(0.2148-0.2139=) 0.0009 |
| 5 |
o |
(0.2139+0.0009*0.6=) 0.21444 |
(0.2139+0.0009*0.8=) 0.21462 |
(0.21462-0.21444=) 0.00018 |
| 6 |
w |
0.214602 |
0.214620 |
0.0000018 |
| 7 |
o |
0.2146128 |
0.2146164 |
0.00000036 |
| 8 |
r |
0.21461568 |
0.21461604 |
0.000000036 |
| 9 |
l |
0.214615788 |
0.214615896 |
0.0000000108 |
| 10 |
d |
0.2146157880 |
0.2146157988 |
0.00000000108 |
编码输出为l10 = 0.2146157880。
算术编码的过程，也可以用图 5的映射来表示。
d e h l o r w
0.0 0.1 0.2 0.3 0.6 0.8 0.9 1.0
hd he hh hl ho hr hw
0.2 0.21 0.22 0.23 0.26 0.28 0.29 0.3
hed hee heh hel heo her hew
0.21 0.211 0.212 0.213 0.216 0.218 0.219 0.22
held hele helh hell helo helr helw
0.213 0.2133 0.2136 0.2139 0.2148 0.2154 0.2157 0.216
…… ……
helloworl
0.21461568 0.214615788 0.214615896 0.21461604
helloworld
0.214615788 0.214615896
0.2146157880 ←输出 0.2146157988
图 5 算术编码的过程
l 解码方法
| j |
vj |
i |
cj = s i |
| 1 |
0.2146157880 |
3 |
h |
| 2 |
(0.2146157880 - 0.2) / 0.1 = 0.14615788 |
2 |
e |
| 3 |
(0.14615788 - 0.1) / 0.1 = 0.4615788 |
4 |
l |
| 4 |
(0.4615788 - 0.3) / 0.3 = 0.538596 |
4 |
l |
| 5 |
(0.538596 - 0.3) / 0.3 = 0.79532 |
5 |
o |
| 6 |
(0.79532 - 0.6) / 0.2 = 0.9766 |
7 |
w |
| 7 |
(0.9766 - 0.9) / 0.1 = 0.766 |
5 |
o |
| 8 |
(0.766 - 0.6) / 0.2 = 0.83 |
6 |
r |
| 9 |
(0.83 - 0.8) / 0.1 = 0.3 |
4 |
l |
| 10 |
(0.3 - 0.3) / 0.3 = 0.0 |
1 |
d |
由符号表（包括符号对应的概率与区间）和实数编码ln，可以按下面的解码算法来重构输入符号串：
设v1 = ln = 码值
若vj ∈[xi , yi) → cj = si , j = 1, … , n
vj+1 = (vj - xi) / pi , j = 1, … , n-1
例如上例的解码过程见下表 7，重构输入符号串为v10 = “helloworld”。
l 若干说明
1．问题
在算术编码中需要注意的几个问题：
(1) 由于实际计算机的浮点运算器不够长（一般为80位），可用定长的整数寄存器低进高出来接收码串，用整数差近似实数差来表示范围，但可能会导致误差积累。
(2) 算术编码器对整个消息只产生一个码字，这个码字是在间隔[0, 1)中的一个实数，因此译码器在接受到表示这个实数的所有位之前不能进行译码。
(3) 算术编码也是一种对错误很敏感的编码方法，如果有一位发生错误就会导致整个字符序列被译错。
2．静态与自适应
算术编码可以是静态的或者自适应的。在静态算术编码中，信源符号的概率是固定的。在自适应算术编码中，信源符号的概率根据编码时符号出现的频繁程度动态地进行修改。需要开发动态算术编码的原因是因为事先知道精确的信源概率是很难的，而且是不切实际的。当压缩数据时，我们不能期待一个算术编码器获得最大的效率，所能做的最有效的方法是在编码过程中估算概率，它成为确定编码器压缩效率的关键。
5 RLE
行程编码RLE（Run Length Encoding游程长度编码）是一种使用广泛的简单熵编码。它被用于BMP、JPEG/MPEG、TIFF和PDF等编码之中，还被用于传真机。
l RLE的编码方法
RLE视数字信息为无语义的字符序列（字节流），对相邻重复的字符，用一个数字表示连续相同字符的数目（称为行程长度），可达到压缩信息的目的。如
未压缩的数据：ABCCCCCCCCDEFFGGG
RLE编码：AB8CDEFF3G
对比该RLE编码例前后的代码数可以发现，在编码前要用17个代码表示的数据，而编码后只要用10个代码，压缩比为1.7 : 1。这说明RLE确实是一种压缩技术，而且这种编码技术相当直观，也非常经济。RLE所能获得的压缩比有多大，这主要是取决于数据本身的特点。如果图像数据（如人工图形）中具有相同颜色的图像块越大，图像块数目越少，获得的压缩比就越高。反之（如自然照片），压缩比就越小。
RLE译码采用与编码相同的规则，还原后得到的数据与压缩前的数据完全相同。因此，RLE是一种无损压缩技术。
RLE压缩编码特别适用于计算机生成的图形，对减少这类图像文件的存储空间非常有效。然而，RLE对颜色丰富多变的自然图像就显得力不从心，这时在同一行上具有相同颜色的连续像素往往很少，而连续几行都具有相同颜色值的连续行数就更少。如果仍然使用RLE编码方法，不仅不能压缩图像数据，反而可能使原来的图像数据变得更大。
但是，这并不意味着RLE编码方法在自然图像的压缩中毫无用处，恰恰相反，在各种自然图像的压缩方法中（如JPEG），仍然不可缺少RLE。只不过，不是单独使用RLE一种编码方法，而是和其他压缩技术联合应用。
| 第一字节 |
>0：重复的像素数 |
| 第二字节 |
BI_RLE8：一个颜色索引值(8b) |
| BI_RLE4：两个颜色索引值（各4 b，高4位为第一个像素，低4位为第二个像素） |
l BMP中的RLE
1．编码
在BMP文件中，对16色和256色的普通格式的位图可进行RLE压缩（BI_RLE4和BI_RLE8），编码由若干信息单位构成，每个信息单位有2个字节。
信息单位的第一个字节一般为同一颜色索引的像素数，这时第二个字节对BI_RLE8为一个颜色索引(8b)，对BI_RLE4为两个颜色索引（各4b，高4位为第一个像素，低4位为第二个像素）。参见表 8。
| 第一字节 |
0：特殊含义 |
| 第二字节 |
0：线结束 |
| 1：位图结束 |
|
| 2：偏移（后跟的两个字节分别表示从当前位置向右和向下偏移的像素数）? |
|
| 3~255：后跟的未压缩的像素（色索引）数 |
若信息单位的第一个字节为0，这时，第二个字节表示特殊意义：0—线结束、1—位图结束、2—偏移（后跟的两个字节分别表示从当前位置向右和向下偏移的像素数）、3~255—后跟的未压缩的像素（颜色索引）数（填充到双字节边界，不足时补0）。参见表 9。
2．例子
1）BI_RLE8
Compressed data Expanded data
03 04 04 04 04
05 06 06 06 06 06 06
00 03 45 56 67 00 45 56 67
02 78 78 78
00 02 05 01 Move 5 right and 1 down
02 78 78 78
00 00 End of line
09 1E 1E 1E 1E 1E 1E 1E 1E 1E 1E
00 01 End of RLE bitmap
2）BI_RLE4
Compressed data Expanded data
03 04 0 4 0
05 06 0 6 0 6 0
00 06 45 56 67 00 4 5 5 6 6 7
04 78 7 8 7 8
00 02 05 01 Move 5 right and 1 down
04 78 7 8 7 8
00 00 End of line
09 1E 1 E 1 E 1 E 1 E 1
00 01 End of RLE bitmap
6 LZW算法
LZW算法被GIF和PNG格式的图像压缩所采用，并被广泛应用于文件的压缩打包（如ZIP和RAR）和磁盘压缩。
因为它不需要执行那么多的缀符串比较操作，所以LZW算法的速度比LZ77算法的快。对LZW算法进一步的改进是增加可变的码字长度，以及在词典中删除老的缀符串。在GIF图像格式和各种文件和磁盘压缩程序中已经采用了这些改进措施之后的LZW算法。
LZW是一种专利算法，专利权的所有者是美国的一个大型计算机公司——Unisys(优利系统公司)。不过，除了商业软件生产公司需要支付专利费外，个人则是可以免费使用LZW算法的。
l 概述
1977年以色列Jakob Ziv和Abraham Lempel提出了一种基于词典编码的压缩缩法，称为LZ77算法；1978年他们对该算法作了改进，称为LZ78；1984年Terry A.Weltch又对LZ78进行了实用性修正，因此把这种编码方法称为LZW(Lempel-Ziv Walch)算法。
1．词典编码的思想
词典编码(dictionary encoding)的根据是数据（字符串）本身包含有重复代码块（词汇）这个特性。词典编码法的种类很多，可以分成两大类。
第一类词典编码的想法，是试图查找正在压缩的字符序列（词汇）是否在以前输入的数据中出现过，然后用已经出现过的字符串替代重复的部分，它的输出仅仅是指向早期出现过的字符串（词汇）的“指针”，参见图 6。
第二类词典编码的想法，是试图从输入的数据中创建一个“短语词典(dictionary of the phrases)”，这种“短语”（词汇/单词）不一定是像“computer计算机”和“programming程序设计”这类具有具体含义的短语，它可以是任意字符的组合。编码数据过程中当遇到已经在词典中出现的“短语”时，编码器就输出这个词典中的短语的“索引号”，而不是短语本身，参见图 7。
2．LZW与LZ78
LZ78是首个第二类词典编码，1984年提出的LZW压缩编码也属于这类编码，它是对LZ78进行了实用性修正后提出的一种逻辑简单、速度快、硬件实现廉价的压缩算法，并首先在高速硬盘控制器上应用了这种算法。
在LZW算法中使用的术语与LZ78使用的相同，仅增加了一个术语—前缀根(Root)，它是由单个字符串组成的缀符串(String)。
在编码原理上，LZW与LZ78相比有如下差别：
① LZW只输出代表词典中的缀符串(String)的码字(code word)。这就意味在开始时词典不能是空的，它必须包含可能在字符流出现中的所有单个字符，即前缀根(Root)。
② 由于所有可能出现的单个字符都事先包含在词典中，每个编码步骤开始时都使用1个字符的前缀(one-character prefix)，因此在词典中搜索的第1个缀符串有两个字符。？？？？
l LZW编码
LZW算法是一种基于字典的编码——将变长的输入符号串映射成定长的码字——形成一本短语词典索引（串表），利用字符出现的频率冗余度及串模式高使用率冗余度达到压缩的目的。该算法只需一遍扫描，且具有自适应的特点（从空表开始逐步生成串表，码字长从像素位数n+1逐步增加到12），不需保存和传送串表。
串表具有前缀性——若串wc（c为字符）在表中，则串w也在串表中（所以，可初始化串表为含所有单个字符的串）。
匹配采用贪婪算法——每次只识别与匹配串表中最长的已有串w（输出对应的码字）、并可与下一输入字符c拼成一个新的码字wc。
对串表的改进：用w的码字来代替wc中的w，则串表中的串等长；当串表已满时（一般表长为2^12），可清表重来（输出清表码字）。清表码字=2^n，结束码字=1+2^n。所以，第一个可用的多字符串的码字=2+2^n。
1．LZW压缩算法：
初始化：将所有单个字符的串放入串表ST中；（共2^n项[码字为0~2^n-1]，实际操作时不必放入，只需空出串表的前2^n项，字符对应码字所对应的串表索引即可）
读首字符入前缀串w；
设置码长codeBits=n+1；
设置串表中当前表项的索引值next=初始码字=2^n+2；
循环： 读下一输入字符c；
若c=EOF（文件结束符），则输出w的码字，结束循环（输出结束码字）；
若wc已在串表中，则w=wc，转到循环开始处；
否则，输出w的码字，将wc放入ST中的next处，next++；
令w=c，转到循环开始处；
若next的位数超过码长(>codeBits)，则codeBits++；
若串表已满（next的位数已超过最大码长12），则清空串表，输出清表码字，转到 初始化开始处。
2．LZW还原算法：
初始化：将所有单个字符的串放入串表ST中；（共2^n项[码字为0~2^n-1]，实际操作时不 必放入，只需空出串表的前2^n项，字符对应码字对应串表索引即可）
串表中当前表项的索引next=2^n+2；
设置码长codeBits=n+1；
读首个码字（所对应的单个字符）入老串old，输出该字符；
循环： 读下一码字new；
若new=结束码字，结束循环；
若new=清表码字，则清空串表，转到初始化开始处；
若new>=next，则输出串newStr= old+old[0]（例外处理）；
若new<next，则输出串newStr；
将old+newStr[0]放入串表ST[next]中，next++；
若next的位数超过码长(>codeBits)，则codeBits++；
但若加一后的codeBits > 12，则重新让codeBits = 12；
old=newStr，转到循环开始处。
其中：newStr=ST[new]（即串表中索引为new的串）
3．例子
| 位置 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
| 字符 |
A |
B |
B |
A |
B |
A |
B |
A |
C |
被编码字符串见表 10，它只包含3个不同的单字符A、B、C。
编码过程如表 11，译码过程如表 12。
表 11 LZW的编码过程 表 12 LZW的译码过程
其中：
n “步骤”栏表示编码步骤；
n “位置”栏表示在输入数据中的当前位置；
n “词典”栏表示添加到词典中的缀符串，它的索引在括号中；
n “输出”栏表示码字输出。
每个译码步骤译码器读一个码字，输出相应的缀符串，并把它添加到词典中。例如，在步骤4中，先前码字(2)（对应于单字符串“B”）存储在老码字(old)中，当前码字(new)是(4)，对应的当前缀符串newStr是输出(“AB”)，先前缀符串old ("B")加上当前缀符串newStr ("AB")的第一个字符“A”，其结果old+newStr[0]("BA") 添加到词典中（ST[next]），它的索引号next是(6) 。
l GIF文件格式
可交换图形格式（GIF=Graphics Interchange Format），由CompuServe公司于87年起定义，现有87a与89a两个主要版本，采用变长LZW压缩算法，只支持索引色（最多8位）。
GIF文件的格式见表 13~18：(其中，多字节整数的低位在前，无符号)
表 13 GIF文件格式 表 14 全局标志
其中：像素位数n = pixelBits = pixel+1 = 颜色位数colorBits = cr+1 = 1~8，
颜色数N = 2^pixelBits = 2^colorBits = 2^(1~8) = 2、4、8、16、32、64、128、256。
像素纵横比：若 = 0，则为1:1；若 > 0，则Aspect Ratio = (Pixel Aspect Ratio + 15) / 64。
表 15 数据块格式1（图像块） 表 16 局部标志
其中：像素位数n = pixelBits = pixel+1 = 1~8，颜色数N = 2^pixelBits = 2^(1~8)
I=1时为行交叉编码（用于渐显），行的交叉顺序为（4遍扫描）：
第一遍：0行、8行、……、8i行、……（0行起，隔8行）
第二遍：4行、12行、……、8i+4行、……（4行起，隔8行）
第三遍：2行、6行、……、4i+2行、……（2行起，隔4行）
第四遍：1行、3行、……、2i+1行、……（1行起，隔2行）
编码长度（码长）：初始码长，一般 = 像素位数n。实际的初始码长 = n+1。
表 17 数据块格式2（扩展块） 表 18 扩展块