无损压缩算法 LZ4技术解析

LZ4 是一种无损压缩算法,压缩速度为每核心 400 MB/s(0.16 字节/周期)。

它拥有速度极快的解码器,速度为每核心多 GB/s(0.71 字节/周期)。此外,一种称为 LZ4_HC 的高压缩率衍生产品可用于交易可定制的 CPU 时间以实现高压缩率。

一些基准测试

该基准测试使用了lzbench,在 64 位 Linux 系统(Debian 4.15.17-1)上使用 GCC v7.3.0 编译。参考系统使用了 Core i7-6700K CPU @ 4.0GHz。基准评估参考西里西亚语料库在单线程模式下的压缩。

Compressor Ratio Compression Decompression
memcpy 1.000 13100 MB/s 13100 MB/s
LZ4 default (v1.8.2) 2.101 730 MB/s 3900 MB/s
LZO 2.09 2.108 630 MB/s 800 MB/s
QuickLZ 1.5.0 2.238 530 MB/s 720 MB/s
Snappy 1.1.4 2.091 525 MB/s 1750 MB/s
Zstandard 1.3.4 -1 2.877 470 MB/s 1380 MB/s
LZF v3.6 2.073 380 MB/s 840 MB/s
zlib deflate 1.2.11 -1 2.730 100 MB/s 380 MB/s
LZ4 HC -9 (v1.8.2) 2.721 40 MB/s 3920 MB/s
zlib deflate 1.2.11 -6 3.099 34 MB/s 410 MB/s

LZ4 核心库使用 BSD 开源许可证。除非另有明确说明,否则所有其他文件均使用 GPLv2 开源许可证。

你可能感兴趣的:(算法,互联网)