如何加快压缩和解压缩的速度

原文
生信技能树
本篇为学习该视频后的个人练习

如何加快压缩和解压缩的速度

1. gzip/gunzip

   压缩：gzip readme.txt

   解压：gunzip readme.txt.gz

2. zip/unzip

   压缩：zip readme.txt.zip readme.txt

   解压：unzip readme.txt.zip

3. bzip2

   压缩：bzip2 readme.txt

   解压：bizp2 readme.txt.bz2

4. tar（适用于多个文件）

   压缩：tar -zcvf output.tar.gz file1 file2

   解压：tar -zxvf input.tar.gz

这些都是单线程的

pigz这是双线程的

lscpu 看当前cpu的一些参数

可以多线程进行压缩和解压缩

pigz的下载
conda install pigz

参数

-d --decompress 解压缩
-p --processes n 使用几个线程来解压
-k --keep 保留原文件
-c --stdout 输出到标准输出流

压缩成.gz格式

pigz -k -p 8 file1

很快啊

压缩成.tar.gz

tar -cvf - file1 file2 file3 |pigz -p 8 > output.tar.gz

解压.gz格式的文件

pigz -d -k -p 48 SRR13436208_mapped_and_unmapped.fastq.gz

解压缩.tar.gz格式的文件

pigz -d -c -p 48 1.tar.gz | tar -xf -