基于LZ77算法和Huffman编码的文件压缩项目
LZ77原理：
- LZ77是基于字节的通用压缩算法，它的原理就是将源文件中的重复字节(即在前文中出现的重复字节)使用(offset，length，nextchar)的三元组进行替换。比如：
mnoabczxyuvwabc123456abczxydefgh替换为：mnoabczxyuvm(9,3,1)23456(18,6,d)efgh。 - GZIP中进行了一个小小的改变，因为nextchar是否出现在三元组中，对压缩率的提升并不能起到什么作用，因此GZIP采用(距离，长度)对的方式进行替换，具体如下：
mnoabczxyuvm(9,3)123456(18,6)defgh。
LZ77压缩步骤
- LZ77压缩时，是在一个滑动窗口中进行的，初始状态下，先加载一个窗口的数据。随着压缩的进行，滑动窗口分为两部分，查找缓冲区和前向缓冲区。只有当匹配的字符串>=3个时才进行替换。
- 窗口的大小取为64K，分为两部分。因为窗口不能无限大，要考虑时间和空间成本。分为两部分方便了搬移和读取数据。
- 使用哈希表来实现高效的查找最长匹配串。
① 利用哈希函数计算该字符与紧跟其后的两个字符构成字符串的哈希地址
② 将该字符串中首字符在窗口中的索引插入上述计算出哈希位置的哈希桶中，返回插入之前该桶的状态
③ 根据2返回的状态监测是否找到匹配串。如果当前桶为空，说明未找到匹配，否则：可能找到匹配，再定位到匹配串位置详细进行匹配即可。 - 为了区分源字符与<距离，长度>对，在向压缩文件中写数据时可用0和1来进行区分，比如用0代表源字符，1代表<距离，长度>对。先将标记信息写入一个新的文件，最后两个文件合并成一个新的文件即可。
压缩文件格式
压缩格式分两个文件保存：
- 文件1保存原字符和距离长度对。
- 文件2保存比特位标记信息。
解压缩
- 从文件2中读取标记，并对该标记进行分析
- 如果当前标记是0，表示原字符，从文件1中读取一个字节，直接写到解压缩之后的文件中
- 如果当前标记是1，表示遇到(距离，长度对)，从文件1中读取两个字节表示距离，再读取一个字节表示长度，从构建(距离，长度)对，然后从解压缩过的结果中找出匹配长度
- 获取下一个标记，直到所有的标记解析完。
Huffman原理：
- 由给定的n个权值{ w1, w2, w3, … , wn}构造n棵只有根节点的二叉树森林F={T1, T2 , T3, … ,Tn},每棵二叉树Ti只有一个带权值wi的根节点，左右孩子均为空。
- 重复以下步骤，直到F中只剩下一棵树为止
- 在F中选取两棵根节点权值最小的二叉树，作为左右子树构造一棵新的二叉树,新二叉树根节点的权值为其左右子树根节点的权值之和
- 在F中删除这两棵二叉树
- 把新的二叉树加入到F中
- 将Huffman树中左分支用0代替，右分支用1代替
- 此时所有权值节点都在叶子位置，遍历每条到叶子节点的路径即可获取到字符的编码
- Huffman编码不会出现一个编码是另一个编码前缀的这种情况，因为到达二叉树叶子节点的路径只有一条！！！
Huffman编码保证了二叉树的带权路径长度最小，提高了压缩率
Huffman压缩步骤
- 统计源文件中每个字符出现的次数：创建数组，以字符的ASCII码为索引值下标统计个数
- 以字符出现的次数为权值创建huffman树：使用优先队列（小根堆）创建Huffman树
- 通过huffman树获取每个字符对应的huffman编码 获取的编码可以放进一个字符串数组中，以字符的ASCII码为索引值下标
- 读取源文件，对源文件中的每个字符使用获取的huffman编码进行改写，将改写结果写到压缩文件中，直到文件结束。
Huffman压缩文件格式
压缩文件中除了要保存压缩数据，还必须保存解压缩需要用到的信息：
- 源文件的后缀
- 字符次数对的总行数
- 字符以及字符出现次数(为简单期间，每个字符放置一行)
- 压缩数据
Huffman解压缩
- 从压缩文件中获取源文件的后缀
- 从压缩文件中获取字符次数的总行数
- 获取每个字符出现的次数
- 重建huffman树
- 解压缩：
从压缩文件中一个一个字节的获取压缩数据（也可以自己创建一个缓冲区，一次读取较多字节的数据到缓冲区，然后一个一个字节从缓冲区里拿！），获取到一个字节的压缩数据，从根节点开始，按照该字节的二进制比特位信息遍历huffman树，该比特位是0，取当前节点的左孩子，否则取右孩子，直到遍历到叶子节点位置，该字符就被解析成功。此时返回根节点，继续此过程，直到所有的数据解析完毕。
遇见的错误
- 哈希表初始化错误。
- 按位与写成了逻辑与。
- 在LZ77解压缩时，写入字符后都要刷新缓冲区，防止匹配字符串时失败。
- 使用fopen函数对文件进行输出输入操作时，最好写成以二进制方式，否则可能会出现读取到特殊符号而终止，导致解压缩不完全（例如图片视频等，一个字节的数据可能出现全1，用文本读就会出现问题）
- 以字符的ASCII码为下标进行统计时，注意使用unsigend char，因为字符的大小是-127到128，负数无法作为下标
- 将一些特殊字符及其出现次数写入文件时，可能字符串构建时会出现错误（例如我使用sprintf在构建\0字符的出现次数时，字符串一直为空，原因是遇见\0 C风格字符串就结束了）
压缩率
| 文件类型 | 源文件大小 | 压缩大小 | 压缩率 |
|---|---|---|---|
| 视频/图片文件 | 10.3MB | 10.3MB | 100% |
| 文本文件 | 12.0MB | 8.51MB | 70.9% |
全部代码
详细代码请前往GitHub—>点我啊
FileCompressHuffman.hpp
#pragma once
#includeHashTable.hpp
#pragma once
#include"Common.hpp"
class HashTable {
public:
HashTable(USH size);
~HashTable();
void Insert(USH& matchhead, UCH ch, USH pos, USH& hashAddr);
void hashFunc(USH& hashAddr, UCH ch);
USH GetNext(USH matchHead);
void Update();
private:
USH H_SHIFT();
private:
USH *prev_;
USH *head_;
};
Huffman.hpp
#pragma once
#includeLZ77.hpp
#pragma once
#includeCommon.hpp
#pragma once
typedef unsigned char UCH;
typedef unsigned short USH;
typedef unsigned long long ULL;
const USH MIN_MATCH = 3; //最小匹配长度
const USH MAX_MATCH = 258; //最大匹配长度
const USH WSIZE = 32 * 1024; //32k
FileCompressHuffman.cpp
#define _CRT_SECURE_NO_WARNINGS 1
#include"FileCompressHuffman.hpp"
#includeHashTable.cpp
#includeLZ77.cpp
#define _CRT_SECURE_NO_WARNINGS 1
#includemain.cpp
#define _CRT_SECURE_NO_WARNINGS 1
#include"FileCompressHuffman.hpp"
#include"FileCompressHuffman.cpp"
#include"LZ77.hpp"
void test() {
LZ77 lz;
FileCompressHuffman tree;
lz.CompressionFile("IMG_5725.PNG");
tree.CompressFile("LZ77.bin"); //指定要压缩的文件
tree.UnCompressFile("Huffman.bin"); //指定要解压的文件
lz.UnCompressionFile("h2.bin");
}
int main() {
test();
_CrtDumpMemoryLeaks();
system("pause");
return 0;
}