霍夫曼树和霍夫曼编码以及霍夫曼编码的应用
文章目录
- 霍夫曼树介绍
-
- 1.1霍夫曼树的定义
- 1.2霍夫曼树的几个概念
- 1.3构建霍夫曼树的过程
- 1.4代码实现霍夫曼树
- 霍夫曼编码介绍
-
- 什么是霍夫曼编码
- 通信领域的应用
- 字符串压缩
-
- 1.构造霍夫曼树
- 2.生成赫夫曼树对应的赫夫曼编码表
- 3.通过生成的赫夫曼编码表，返回一个赫夫曼编码 压缩后的byte[]
- 4.完成数据的解压
- 文件的压缩和解压缩
-
- 文件的压缩
- 文件的解压缩
- 赫夫曼编码压缩文件注意事项
霍夫曼树介绍
1.1霍夫曼树的定义
给定N个权值作为N个叶子结点，构造一棵二叉树，若该树的带权路径长度达到最小，称这样的二叉树为最优二叉树，也称为哈夫曼树(Huffman Tree)。哈夫曼树是带权路径长度最短的树，权值较大的结点离根较近。
1.2霍夫曼树的几个概念
路径和路径长度：在一棵树中，从一个结点往下可以达到的孩子或孙子结点之间的通路，称为路径。通路中分支的数目称为路径长度。若规定根结点的层数为1，则从根结点到第L层结点的路径长度为L-1。
结点的权及带权路径长度：若将树中结点赋给一个有着某种含义的数值，则这个数值称为该结点的权。结点的带权路径长度为：从根结点到该结点之间的路径长度与该结点的权的乘积
树的带权路径长度：树的带权路径长度规定为所有叶子结点的带权路径长度之和，记为WPL(weighted path length) ,权值越大的结点离根结点越近的二叉树才是最优二叉树。WPL最小的就是赫夫曼树，如下图所示：第二个便是霍夫曼树
1.3构建霍夫曼树的过程
构成霍夫曼树的步骤：
- 从小到大进行排序, 将每一个数据，每个数据都是一个节点 ， 每个节点可以看成是一颗最简单的二叉树。
- 取出根节点权值最小的两颗二叉树 。
- 组成一颗新的二叉树, 该新的二叉树的根节点的权值是前面两颗二叉树根节点权值的和。
- 再将这颗新的二叉树，以根节点的权值大小 再次排序， 不断重复 1-2-3-4 的步骤，直到数列中，所有的数据都被处理，就得到一颗霍夫曼树。
以该数列为例来构建霍夫曼树：{13, 7, 8, 3, 29, 6, 1}
排序 1, 3, 6, 7, 8, 13, 29 按照如上步骤进行构建如下图；
1.4代码实现霍夫曼树
构成霍夫曼树的步骤：
- 从小到大进行排序, 将每一个数据，每个数据都是一个节点 ， 每个节点可以看成是一颗最简单的二叉树。
- 取出根节点权值最小的两颗二叉树 。
- 组成一颗新的二叉树, 该新的二叉树的根节点的权值是前面两颗二叉树根节点权值的和。
- 再将这颗新的二叉树，以根节点的权值大小 再次排序， 不断重复 1-2-3-4 的步骤，直到数列中，所有的数据都被处理，就得到一颗霍夫曼树。
public class HuffmanTree {
public static void main(String[] args) {
int arr[] = {
13, 7, 8, 3, 29, 6, 1 };
Node root = createHuffmanTree(arr);
System.out.println("构造后的霍夫曼树的根结点"+"\n"+root);
System.out.println("前序遍历霍夫曼树");
preOrder(root);
}
//前序遍历
public static void preOrder(Node root) {
if(root!=null){
System.out.println(root);
preOrder(root.leftNode);
preOrder(root.rightNode);
}
}
public static Node createHuffmanTree(int[] arr) {
// 1. 遍历 arr 数组
// 2. 将arr的每个元素构成成一个Node
// 3. 将Node 放入到ArrayList中
ArrayList<Node> nodes = new ArrayList<>();
for (int i = 0; i < arr.length; i++) {
nodes.add(new Node(arr[i]));
}
while (nodes.size()>1) {
//排序 从小到大
Collections.sort(nodes);
//取出根节点权值最小的两颗二叉树
Node leftNode = nodes.get(0);
Node rightNode = nodes.get(1);
//(3)构建一颗新的二叉树
Node parent = new Node(leftNode.value + rightNode.value);
parent.leftNode = leftNode;
parent.rightNode = rightNode;
//(4)从ArrayList删除处理过的二叉树
nodes.remove(leftNode);
nodes.remove(rightNode);
//(5)将parent加入到nodes
nodes.add(parent);
}
//返回哈夫曼树的root结点
return nodes.get(0);
}
}
class Node implements Comparable<Node>{
int value;
Node leftNode;
Node rightNode;
public Node(int value) {
this.value = value;
}
@Override
public String toString() {
return "Node{" +
"value=" + value +
'}';
}
@Override
public int compareTo(Node o) {
return this.value-o.value;
}
}
构造后的霍夫曼树的根结点
Node{
value=67}
前序遍历霍夫曼树
Node{
value=67}
Node{
value=29}
Node{
value=38}
Node{
value=15}
Node{
value=7}
Node{
value=8}
Node{
value=23}
Node{
value=10}
Node{
value=4}
Node{
value=1}
Node{
value=3}
Node{
value=6}
Node{
value=13}
霍夫曼编码介绍
什么是霍夫曼编码
- 霍夫曼编码也翻译为 哈夫曼编码(Huffman Coding)，又称霍夫曼编码，是一种编码方式, 属于一种程序算法
- 霍夫曼编码是赫哈夫曼树在电讯通信中的经典的应用之一。
- 霍夫曼编码广泛地用于数据文件压缩。其压缩率通常在20%～90%之间
- 霍夫曼码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法，称之为最佳编码
- 规定哈夫曼树中的左分支为0，右分支为1，则从根节点到每个 叶节点所经过的分支对应的0和1组成的序列便为该节点对应字符的 编码。这样的编码称为哈夫曼编码。哈夫曼编码属0、1二 进制编码
如图：5的二进制编码就是（0，0，0，1），以此类推其他的结点：
3：（0000） 5：（0001） 11：（001） 23：（01）
8：（1111） 7：（1110） 14：（110） 29：（10）
通信领域的应用
在电文传输中，需要将电文中出现的每个字符进行二进制编码。在设计编码时需要遵守两个原则：
（1）发送方传输的二进制编码，到接收方解码后必须具有唯一性，即解码结果与发送方发送的电文完全一样；
（2）发送的二进制编码尽可能地短。下面我们介绍两种编码的方式。
-
等长编码
这种编码方式的特点是每个字符的编码长度相同（编码长度就是每个编码所含的二进制位数）。假设字符集只含有4个字符A，B，C，D，用二进制两位表示的编码分别为00，01，10，11。若现在有一段电文为：ABACCDA，则应发送二进制序列：00010010101100，总长度为14位。当接收方接收到这段电文后，将按两位一段进行译码。这种编码的特点是译码简单且具有唯一性，但编码长度并不是最短的。 -
不等长编码
在传送电文时，为了使其二进制位数尽可能地少，可以将每个字符的编码设计为不等长的，使用频度较高的字符分配一个相对比较短的编码，使用频度较低的字符分配一个比较长的编码。例如，可以为A，B，C，D四个字符分别分配0，00，1，01，并可将上述电文用二进制序列：000011010发送，其长度只有9个二进制位，但随之带来了一个问题，接收方接到这段电文后无法进行译码，因为无法断定前面4个0是4个A，1个B、2个A，还是2个B，即译码不唯一，因此这种编码方法不可使用。 -
压缩
采用哈夫曼静态编码的方式，通过对数据进行两遍扫描，第一次统计出现的字符频次，进而构造霍夫曼树，第二遍扫描数据根据得到的霍夫曼树对数据进行编码。
注意：
这个霍夫曼树根据排序方法不同，也可能不太一样，这样对应的霍夫曼编码也不完全一样，但是wpl 是一样的，都是最小的。
字符串压缩
1.构造霍夫曼树
例如有一个字符串String s=“i like java do you like too?”;共28个字符包括空格
我们用霍夫曼编码来对其压缩，其压缩过程如下：
- 先找出各个字符出现的次数
i：3，l：2，k：2，e:2，j：1，v：1，a：2，y：1，o：4，u：1，t:1，空格：6，？：1。
可以用一个map[key,value]将上面的字符以及出现的次数保存。 - 按照上面字符出现的次数构建一颗赫夫曼树, 次数作为权值
结点
class Node implements Comparable<Node> {
Byte data; // 存放数据(字符)本身，比如'a' => 97 ' ' => 32
int weight; //权值, 表示字符出现的次数
Node left;//
Node right;
public Node(Byte data, int weight) {
this.data = data;
this.weight = weight;
}
@Override
public int compareTo(Node o) {
// 从小到大排序
return this.weight - o.weight;
}
public String toString() {
return "Node [data = " + data + " weight=" + weight + "]";
}
//前序遍历
public void preOrder() {
System.out.println(this);
if(this.left != null) {
this.left.preOrder();
}
if(this.right != null) {
this.right.preOrder();
}
}
}
/**
*
* @param bytes 接收字节数组
* @return 返回的就是 List
*/
private static List<Node> getNodes(byte[] bytes) {
//1创建一个ArrayList
ArrayList<Node> nodes = new ArrayList<Node>();
//遍历 bytes , 统计 每一个byte出现的次数->map[key,value]
Map<Byte, Integer> counts = new HashMap<>();
for (byte b : bytes) {
Integer count = counts.get(b);
if (count == null) {
// Map还没有这个字符数据,第一次
counts.put(b, 1);
} else {
counts.put(b, count + 1);
}
}
//把每一个键值对转成一个Node 对象，并加入到nodes集合
//遍历map
for(Map.Entry<Byte, Integer> entry: counts.entrySet()) {
nodes.add(new Node(entry.getKey(), entry.getValue()));
}
return nodes;
}
//可以通过List 创建对应的赫夫曼树
private static Node createHuffmanTree(List<Node> nodes) {
while(nodes.size() > 1) {
//排序, 从小到大
Collections.sort(nodes);
//取出第一颗最小的二叉树
Node leftNode = nodes.get(0);
//取出第二颗最小的二叉树
Node rightNode = nodes.get(1);
//创建一颗新的二叉树,它的根节点 没有data, 只有权值
Node parent = new Node(null, leftNode.weight + rightNode.weight);
parent.left = leftNode;
parent.right = rightNode;
//将已经处理的两颗二叉树从nodes删除
nodes.remove(leftNode);
nodes.remove(rightNode);
//将新的二叉树，加入到nodes
nodes.add(parent);
}
//nodes 最后的结点，就是赫夫曼树的根结点
return nodes.get(0);
}
测试：
public static void main(String[] args) {
String s="i like java do you like java too?";
List<Node> nodes = getNodes(s.getBytes());
System.out.println(nodes);
Node tree = createHuffmanTree(nodes);
System.out.println(tree);
}
[Node [data = 32 weight=7], Node [data = 97 weight=4], Node [data = 100 weight=1],
Node [data = 101 weight=2], Node [data = 105 weight=3], Node [data = 106 weight=2], Node [data = 107 weight=2],
Node [data = 108 weight=2], Node [data = 111 weight=4], Node [data = 116 weight=1], Node
[data = 117 weight=1], Node [data = 118 weight=2], Node [data = 121 weight=1], Node [data = 63 weight=1]]
Node [data = null weight=33]
2.生成赫夫曼树对应的赫夫曼编码表
生成的赫夫曼编码表形如{32=01, 97=100, 100=11000, 117=11001, 101=1110, 118=11011, 105=101, 121=11010, 106=0010, 107=1111, 108=000, 111=0011}
将赫夫曼编码表存放在 Map
static Map<Byte, String> huffmanCodes = new HashMap<Byte,String>();
//在生成赫夫曼编码表示，需要去拼接路径, 定义一个StringBuilder 存储某个叶子结点的路径
static StringBuilder stringBuilder = new StringBuilder();
/**
* 功能：将传入的node结点的所有叶子结点的赫夫曼编码得到，并放入到huffmanCodes集合
* @param node 传入结点
* @param code 路径： 左子结点是 0, 右子结点 1
* @param stringBuilder 用于拼接路径
*/
private static void getCodes(Node node, String code, StringBuilder stringBuilder) {
StringBuilder stringBuilder2= new StringBuilder(stringBuilder);
//将code 加入到 stringBuilder2
stringBuilder2.append(code);
if(node != null) {
//如果node == null不处理
//判断当前node 是叶子结点还是非叶子结点
if(node.data == null) {
//非叶子结点
//递归处理
//向左递归
getCodes(node.left, "0", stringBuilder2);
//向右递归
getCodes(node.right, "1", stringBuilder2);
} else {
//说明是一个叶子结点
//就表示找到某个叶子结点的最后
huffmanCodes.put(node.data, stringBuilder2.toString());
}
}
}
//为了调用方便，我们重载 getCodes
private static Map<Byte, String> getCodes(Node root) {
if(root == null) {
return null;
}
//处理root的左子树
getCodes(root.left, "0", stringBuilder);
//处理root的右子树
getCodes(root.right, "1", stringBuilder);
return huffmanCodes;
}
测试：
public static void main(String[] args) {
String s="i like java do you like java too?";
List<Node> nodes = getNodes(s.getBytes());
Node root= createHuffmanTree(nodes);
System.out.println("得到霍夫曼编码表");
Map<Byte, String> map = getCodes(root);
System.out.println(map);
}
得到霍夫曼编码表
{
32=00, 97=010, 100=11000, 101=11111, 105=1110, 106=1000, 107=1001, 108=1010, 111=011, 116=11001, 117=11010, 118=1011, 121=11011, 63=11110}
3.通过生成的赫夫曼编码表，返回一个赫夫曼编码 压缩后的byte[]
/**
* @param bytes 这时原始的字符串对应的 byte[]
* @param huffmanCodes 生成的赫夫曼编码map
* @return 返回赫夫曼编码处理后的 byte[]
* 举例： String content = "i like java do you like java too?"; =》 byte[] contentBytes = content.getBytes();
* 返回的是 字符串 "1010100010111111110010001011111111001000101111111100100101001101110001110000011011101000111100101000101111111100110001001010011011100"
* => 对应的 byte[] huffmanCodeBytes ，即 8位对应一个 byte,放入到 huffmanCodeBytes
* huffmanCodeBytes[0] = 10101000(补码) => byte [推导 10101000=> 10101000 - 1 => 10100111(反码)=> 11011000= -88 ]
* huffmanCodeBytes[1] = -88
*/
private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {
//1.利用 huffmanCodes 将 bytes 转成 赫夫曼编码对应的字符串
StringBuilder stringBuilder = new StringBuilder();
//遍历bytes 数组
for(byte b: bytes) {
stringBuilder.append(huffmanCodes.get(b));
}
//将 "1010100010111111110..." 转成 byte[]
//统计返回 byte[] huffmanCodeBytes 长度
//一句话 int len = (stringBuilder.length() + 7) / 8;
int len;
if(stringBuilder.length() % 8 == 0) {
len = stringBuilder.length() / 8;
} else {
len = stringBuilder.length() / 8 + 1;
}
//创建 存储压缩后的 byte数组
byte[] huffmanCodeBytes = new byte[len];
int index = 0;//记录是第几个byte
for (int i = 0; i < stringBuilder.length(); i += 8) {
//因为是每8位对应一个byte,所以步长 +8
String strByte;
if(i+8 > stringBuilder.length()) {
//不够8位
strByte = stringBuilder.substring(i);
}else{
strByte = stringBuilder.substring(i, i + 8);
}
//将strByte 转成一个byte,放入到 huffmanCodeBytes
huffmanCodeBytes[index] = (byte)Integer.parseInt(strByte, 2);
index++;
}
return huffmanCodeBytes;
}
测试：
public static void main(String[] args) {
String s="i like java do you like java too?";
List<Node> nodes = getNodes(s.getBytes());
Node root= createHuffmanTree(nodes);
Map<Byte, String> map = getCodes(root);
byte[] bytes = zip(s.getBytes(), map);
System.out.println(Arrays.toString(bytes));
}
[-30, -70, 126, 66, -76, 97, -101, 122, 43, -89, -28, 43, 70, 91, 30]
4.完成数据的解压
思路：将huffmanCodeBytes [-30, -70, 126, 66, -76, 97, -101, 122, 43, -89, -28, 43, 70, 91, 30] 转成 赫夫曼编码对应的二进制的字符串 "1010100010111…"对照 赫夫曼编码 生成原来的字符串。
/*
* @param b 传入的 byte 将一个byte 转成一个二进制的字符串
* @param flag 标志是否需要补高位如果是true ，表示需要补高位，如果是false表示不补, 如果是最后一个字节，无需补高位
* @return 是该b 对应的二进制的字符串，（注意是按补码返回）
*/
private static String byteToBitString(boolean flag, byte b) {
//使用变量保存 b
int temp = b; //将 b 转成 int
//如果是正数我们还存在补高位
if(flag) {
temp |= 256; //按位与 256 1 0000 0000 | 0000 0001 => 1 0000 0001
}
String str = Integer.toBinaryString(temp); //返回的是temp对应的二进制的补码
if(flag) {
return str.substring(str.length() - 8);
} else {
return str;
}
}
//编写一个方法，完成对压缩数据的解码
/**
*
* @param huffmanCodes 赫夫曼编码表 map
* @param huffmanBytes 赫夫曼编码得到的字节数组
* @return 就是原来的字符串对应的数组
*/
private static byte[] decode(Map<Byte,String> huffmanCodes, byte[] huffmanBytes) {
//1. 先得到 huffmanBytes 对应的 二进制的字符串 ， 形式 1010100010111...
StringBuilder stringBuilder = new StringBuilder();
//将byte数组转成二进制的字符串
for(int i = 0; i < huffmanBytes.length; i++) {
byte b = huffmanBytes[i];
//判断是不是最后一个字节
boolean flag = (i == huffmanBytes.length - 1);
stringBuilder.append(byteToBitString(!flag, b));
}
//把字符串安装指定的赫夫曼编码进行解码
//把赫夫曼编码表进行调换，因为反向查询 a->100 100->a
Map<String, Byte> map = new HashMap<String,Byte>();
for(Map.Entry<Byte, String> entry: huffmanCodes.entrySet()) {
map.put(entry.getValue(), entry.getKey());
}
//创建一个集合，存放byte
List<Byte> list = new ArrayList<>();
//i 可以理解成就是索引,扫描 stringBuilder
for(int i = 0; i < stringBuilder.length(); ) {
int count = 1; // 小的计数器
boolean flag = true;
Byte b = null;
while(flag) {
//1010100010111...
//递增的取出 key 1
String key = stringBuilder.substring(i, i+count);//i 不动，让count移动，指定匹配到一个字符
b = map.get(key);
if(b == null) {
//说明没有匹配到
count++;
}else {
//匹配到
flag = false;
}
}
list.add(b);
i += count;//i 直接移动到 count
}
//当for循环结束后，我们list中就存放了所有的字符 "i like java do you like java too?"
//把list 中的数据放入到byte[] 并返回
byte b[] = new byte[list.size()];
for(int i = 0;i < b.length; i++) {
b[i] = list.get(i);
}
return b;
}
测试：
public static void main(String[] args) {
String s="i like java do you like java too?";
List<Node> nodes = getNodes(s.getBytes());
Node root= createHuffmanTree(nodes);
Map<Byte, String> map = getCodes(root);
byte[] bytes = zip(s.getBytes(), map);
byte[] bytes1 = decode(map, bytes);
System.out.println("原来的字符串："+new String(bytes1));
}
原来的字符串：i like java do you like java too?
文件的压缩和解压缩
文件的压缩
/**
*
* @param srcFile 你传入的希望压缩的文件的全路径
* @param dstFile 我们压缩后将压缩文件放到哪个目录
*/
public static void zipFile(String srcFile, String dstFile) {
//创建输出流
OutputStream os = null;
ObjectOutputStream oos = null;
//创建文件的输入流
FileInputStream is = null;
try {
//创建文件的输入流
is = new FileInputStream(srcFile);
//创建一个和源文件大小一样的byte[]
byte[] b = new byte[is.available()];
//读取文件
is.read(b);
//直接对源文件压缩
byte[] huffmanBytes = huffmanZip(b);
//创建文件的输出流, 存放压缩文件
os = new FileOutputStream(dstFile);
//创建一个和文件输出流关联的ObjectOutputStream
oos = new ObjectOutputStream(os);
//把 赫夫曼编码后的字节数组写入压缩文件
oos.writeObject(huffmanBytes); //我们是把
//这里我们以对象流的方式写入 赫夫曼编码，是为了以后我们恢复源文件时使用
//注意一定要把赫夫曼编码 写入压缩文件
oos.writeObject(huffmanCodes);
}catch (Exception e) {
// TODO: handle exception
System.out.println(e.getMessage());
}finally {
try {
is.close();
oos.close();
os.close();
}catch (Exception e) {
// TODO: handle exception
System.out.println(e.getMessage());
}
}
}
测试：
public static void main(String[] args) {
//测试压缩文件
String srcFile = "d://HuffmanTree.java";
String dstFile = "d://HuffmanTree.zip";
zipFile(srcFile, dstFile);
System.out.println("压缩文件ok~~");
}
压缩文件ok~~
文件的解压缩
/**
*
* @param zipFile 准备解压的文件
* @param dstFile 将文件解压到哪个路径
*/
public static void unZipFile(String zipFile, String dstFile) {
//定义文件输入流
InputStream is = null;
//定义一个对象输入流
ObjectInputStream ois = null;
//定义文件的输出流
OutputStream os = null;
try {
//创建文件输入流
is = new FileInputStream(zipFile);
//创建一个和 is关联的对象输入流
ois = new ObjectInputStream(is);
//读取byte数组 huffmanBytes
byte[] huffmanBytes = (byte[])ois.readObject();
//读取赫夫曼编码表
Map<Byte,String> huffmanCodes = (Map<Byte,String>)ois.readObject();
//解码
byte[] bytes = decode(huffmanCodes, huffmanBytes);
//将bytes 数组写入到目标文件
os = new FileOutputStream(dstFile);
//写数据到 dstFile 文件
os.write(bytes);
} catch (Exception e) {
// TODO: handle exception
System.out.println(e.getMessage());
} finally {
try {
os.close();
ois.close();
is.close();
} catch (Exception e2) {
// TODO: handle exception
System.out.println(e2.getMessage());
}
}
}
测试：
public static void main(String[] args) {
String zipFile = "d://HuffmanTree.zip";
String dstFile = "d://HuffmanTree2.Java";
unZipFile(zipFile, dstFile);
System.out.println("解压成功!");
}
解压成功!
赫夫曼编码压缩文件注意事项
- 如果文件本身就是经过压缩处理的，那么使用赫夫曼编码再压缩效率不会有明显变化, 比如视频,ppt 等等文件
- 赫夫曼编码是按字节来处理的，因此可以处理所有的文件(二进制文件、文本文件)
- 如果一个文件中的内容，重复的数据不多，压缩效果也不会很明显.