- Linux并行gzip压缩工具pigz
冰封飞飞
由于项目原因,经常需要压缩和解压缩大量的数据。10G规模以上,而默认tar打包和系统默认的压缩工具是单线程的。服务器多核CPU完全利用不起来,瓶颈在CPU的处理上面。于是使用了pigz这个可以利用多核的并行压缩工具。效果显著,如果你也需要频繁压缩大量的数据,可以尝试一下这个软件。1.安装centos&redhat系yuminstallpigzdebian&ubuntu系apt-getinstall
- 生信小工具之:并行解压神器pigz
lakeseafly
做生物信息的同学会相信你们都会遇到这样的情况:你会遇到成白或者上千的sequencingdata,然后你需要解压它/或者将你一系列的结果进行压缩,然后你使用你熟悉的gunzip或者gzip,将你所需要解压或者压缩的文件一个一个压缩,这样会耗费很多的时间,效率并不高。这次推送给大家带来一个并行解压的神器pigz。简单来说,由MarkAdler编写的pigz基本上就是并行gzip,可以有效的提高解压或
- CentOS 7 下 tar 命令多进程打包实践
老实人张大傻
Linux学习服务器配置多进程打包linux
文章目录安装依赖包打包目录解压安装依赖包#yum-yinstallpigz打包目录执行命令#tar-zcf-9|pigz-9-p12>9.tar.gz参数说明tar:tar命令-zcf:执行压缩-9:需要压缩的目录-9:压缩率-p12:指定CPU数>9.tar.gz:压缩为"9.tar.gz"解压解压异常#tar-zxvf1.tar.gztar:Thisdoesnotlooklikeatararc
- 20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞
南棱笑笑生
杂质杂质
20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞2023/12/2017:19简略步骤:rootroot@rootroot-X99-Turbo:~/3TB$tar--use-compress-program=pigz-xvpfrk3399-android-10.git-20210201.tgzroot
- Linux - 多线程压缩日志
大猪大猪
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- 20231122给RK3399的挖掘机开发板适配Android12
南棱笑笑生
杂质杂质
20231122给RK3399的挖掘机开发板适配Android122023/11/229:30主要步骤:rootroot@rootroot-X99-Turbo:~$tar--use-compress-program=pigz-xvpfrk356x_android12_220722.tgzrootroot@rootroot-X99-Turbo:~$cdrk_android12_220722/root
- 20230912在ubuntu18.04下使用pigz来提高tar命令压缩解压缩的速度
南棱笑笑生
杂质杂质
20230912在ubuntu18.04下使用pigz来提高tar命令压缩解压缩的速度2023/9/1522:19https://blog.csdn.net/wb4916/article/details/12844729820221226编译Toybrick的TB-RK3588X开发板的Android12系统2-SDK预处理4、单线程压缩。建议使用:pigz多线程压缩,这样会节省解包时间!#打包压
- Linux - 多线程压缩日志
kikiki1
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- linux压缩、解压文件夹
cv-daily
linux
linux大文件解压:https://www.dbs724.com/97298.htmlLinux多线程压缩软件pigz:https://zhuanlan.zhihu.com/p/389817246linuxzip分卷解压:https://blog.csdn.net/qq_34431979/article/details/131023923压缩、解压:sudoapt-getinstallp7zip
- [pigz] tar.gz 压缩/解压
Silver_42ac
#目标result文件夹#压缩tar-chf-result|pigz-p16-k>result.tar.gz#解压,保留原始压缩文件pigz-p2-k-c-dresult.tar.gz|tar-xf-pigz参数-d,--decompressDecompressthecompressedinput-p,--processesnAllowuptoncompressionthreads(default
- Linux - 多线程压缩日志
kikiki5
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- Linux - 多线程压缩日志
大猪大猪
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- Linux - 多线程压缩日志
kikiki2
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- tar压缩拆分解压超大文件
追梦小狂魔
服务器linux运维
tarcf-/path/to/folder|pigz-p>archive.tar.gztarcf-images/|pigz-p128>images.tar.gz拆分压缩tarcf-/path/to/folder|pigz-p|split-b10G-archive.tar.gz.拆分split-b30Gyourfile.tar.gzyourfile.tar.gz.part多线程解压128线程tar-
- pigz | Linux多线程压缩软件
生信师姐
pigz充分利用了现代多核CPU的性能,大幅提高压缩解压的速度。在我的测试中,pigz比Ubuntu默认的压缩方式快了几十倍。前言我日常使用一台Ubuntu系统的笔电办公、写代码,但有时遇到需要打包并压缩大文件夹的需求(比如把最近下载的几十篇论文资料压缩打包,以便备份),发现Ubuntu默认自带的压缩工具为单线程压缩,不能充分利用笔电的6核12线程处理器,速度非常慢。故寻找了一款强力好用的多线程压
- RNA-seq入门实战(一):上游数据下载、格式转化和质控清洗
嘿嘿嘿嘿哈
RNA-seq入门实战整体分析流程本节概览:1.在文章中找到GEOaccessionnumber,从NCBI获取数据SRR号2.在linux中使用prefetch命令根据SRR号下载SRA文件3.使用fasterq-dump/fastq-dump命令将SRA文件转为FASTQ格式,pigz软件多线程压缩(可选)4.使用fastqc和multiqc进行测序数据的质控查看5.使用trim-galore
- Linux - 多线程压缩日志
大猪大猪
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- Linux - 多线程压缩日志
kikiki1
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- pigz多线程压缩工具&scp断点续传
pomela
1.pigz多线程压缩工具使用conda安装source/data1/spider/biosoft/miniconda3/bin/activatecondainstall-ypigz多线程压缩timetar-cvf-project/|pigz-p32>67_project.tar.gz#-p线程数多线程解压timepigz-p8-d67_project.tar.gz2.scp服务器间传文件及断点续
- 快如闪电:Linux多线程压缩软件pigz和压缩神器zstd、p7zip
运维猿Winter
前言:pigz和zstd这两个都不支持直接压缩文件夹,如有支持多线程同时支持压缩文件夹的压缩软件(XZ除外),麻烦评论区留言,谢谢。pigz简介pigz是GZip的并行版(pigz,即ParallelImplementationofGZip),作者为MarkAdler。它充分利用了现代多核处理器的性能,大幅提高压缩解压的速度。pigz安装#Ubuntu:aptinstall-ypigz#CentO
- 常用命令记录
土雕艺术家
压缩当前目录下所有文件find*.fastq-typef|xargs-I{}tar-cvf-{}|pigz-k>{}.tar.gz#在-i或者-I后面自定义一个传递参数符号,所有匹配的项都会替换为传递给xargs的参数。tar-cvf-Aenictocupidus_jacobsonorum_SRX3068055_1.fastq|pigz-k>Aenictocupidus_jacobsonorum_
- ubuntu多线程压缩
功夫小象
软件使用ubuntulinux运维
在进行文件夹压缩时,我们可以借助pigz获zstd等工具来大大减少等待时间,如下所示:pigzsudoaptinstallpigztar-cf-diranme|pigz-pnum_of_threads>dirname.tgzzstdsudoaptinstallzstdzstd-T#-rdirname-odirname.zstdNotice:上面#替换为线程数
- 生物信息常用软件使用说明记录
11的雾
记录用过的一些生信软件吧FastX格式处理系列截取数据量软件seqtksample$seqtksampleUsage:seqtksample[-2][-sseed=11]|Options:-sINTRNGseed[11]-22-passmode:twiceasslowbutwithmuchreducedmemory举例:seqtksample-s100test.fq.gz5242880|pigz-
- linux - 多线程打包压缩
Yangzf0628
Linux
tar-cvpf-$Dir|pigz-9-p6$target-nametar-cvpf-/usr/bin|pigz-9-p6bin.tgzpigz:-9:代表压缩率-p:代表CPU数量
- Linux - 多线程压缩日志
大猪大猪
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- Linux - 多线程压缩日志
kikiki1
这里有17个G的日志文件,使用多线程压缩2分23秒即可压缩完成3.2G的压缩,6倍的压缩比,普通压缩则要使用7分50秒,整整多出了3倍,我们看看是怎么使用的。使用方法安装pigzyuminstallpigz-y#或者apt-getinstallpigz压缩(使用8个CPU)timetar-cf-logdir|pigz-p8>logdir.tgz解压缩timepigz-p8-dlogdir.tgz速
- 实用Shell命令
JaySon_h
文件压缩并分卷(转)使用tar和split打包分割文件tar-czvp-f-clueweb12|split-b4000m-clueweb12.tar.gz.--verbosecatclueweb12.tar.gz.*|tar-zxv合并并解压catclueweb12.tar.gz.*|tar-zxvpigz并行压缩、解压timetar-cf-clueweb12.0.edges|pigz-p4>cl
- pigz
残风疏影
apt-getinstallpigz压缩:tarcvf-目录名|pigz-9-p24>file.tgzpigz:用法-9是压缩比率比较大,-p是指定cpu的核数。tarcvf-/opt/hadoop-2.7.3.tar.gz|pigz-9-p4>hadoop-2.7.3.tgz解压:pigz-dfile.tgztar-xffiletar-xf--format=posixfile
- 最新电视直播源
YViVi
icon-640x920.png![![icon-640x920.png](http://upload-images.jianshu.io/upload_images/1274527-7472fa9851f328ac.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)55c06004jw1fa8snrk6bsg20pq0pigz0.gif
- pigz更快的压缩和解压工具
刘遄
linuxapachecentosubuntu运维
pigz(parallelimplementationofgzip)是一个并行执行的压缩工具,解压缩比gzip快,同时CPU消耗是gzip的好几倍,在对短时间内CPU消耗较高不受影响的场景下,可以使用pigz。环境Centos7RAM:2GB,CPU:4vcpus安装安装epel扩展源[root@localhost~]#wget-O/etc/yum.repos.d/epel-7.repohttp:
- eclipse maven
IXHONG
eclipse
eclipse中使用maven插件的时候,运行run as maven build的时候报错
-Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME environment variable and mvn script match.
可以设一个环境变量M2_HOME指
- timer cancel方法的一个小实例
alleni123
多线程timer
package com.lj.timer;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
public class MyTimer extends TimerTask
{
private int a;
private Timer timer;
pub
- MySQL数据库在Linux下的安装
ducklsl
mysql
1.建好一个专门放置MySQL的目录
/mysql/db数据库目录
/mysql/data数据库数据文件目录
2.配置用户,添加专门的MySQL管理用户
>groupadd mysql ----添加用户组
>useradd -g mysql mysql ----在mysql用户组中添加一个mysql用户
3.配置,生成并安装MySQL
>cmake -D
- spring------>>cvc-elt.1: Cannot find the declaration of element
Array_06
springbean
将--------
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3
- maven发布第三方jar的一些问题
cugfy
maven
maven中发布 第三方jar到nexus仓库使用的是 deploy:deploy-file命令
有许多参数,具体可查看
http://maven.apache.org/plugins/maven-deploy-plugin/deploy-file-mojo.html
以下是一个例子:
mvn deploy:deploy-file -DgroupId=xpp3
- MYSQL下载及安装
357029540
mysql
好久没有去安装过MYSQL,今天自己在安装完MYSQL过后用navicat for mysql去厕测试链接的时候出现了10061的问题,因为的的MYSQL是最新版本为5.6.24,所以下载的文件夹里没有my.ini文件,所以在网上找了很多方法还是没有找到怎么解决问题,最后看到了一篇百度经验里有这个的介绍,按照其步骤也完成了安装,在这里给大家分享下这个链接的地址
- ios TableView cell的布局
张亚雄
tableview
cell.imageView.image = [UIImage imageNamed:[imageArray objectAtIndex:[indexPath row]]];
CGSize itemSize = CGSizeMake(60, 50);
&nbs
- Java编码转义
adminjun
java编码转义
import java.io.UnsupportedEncodingException;
/**
* 转换字符串的编码
*/
public class ChangeCharset {
/** 7位ASCII字符,也叫作ISO646-US、Unicode字符集的基本拉丁块 */
public static final Strin
- Tomcat 配置和spring
aijuans
spring
简介
Tomcat启动时,先找系统变量CATALINA_BASE,如果没有,则找CATALINA_HOME。然后找这个变量所指的目录下的conf文件夹,从中读取配置文件。最重要的配置文件:server.xml 。要配置tomcat,基本上了解server.xml,context.xml和web.xml。
Server.xml -- tomcat主
- Java打印当前目录下的所有子目录和文件
ayaoxinchao
递归File
其实这个没啥技术含量,大湿们不要操笑哦,只是做一个简单的记录,简单用了一下递归算法。
import java.io.File;
/**
* @author Perlin
* @date 2014-6-30
*/
public class PrintDirectory {
public static void printDirectory(File f
- linux安装mysql出现libs报冲突解决
BigBird2012
linux
linux安装mysql出现libs报冲突解决
安装mysql出现
file /usr/share/mysql/ukrainian/errmsg.sys from install of MySQL-server-5.5.33-1.linux2.6.i386 conflicts with file from package mysql-libs-5.1.61-4.el6.i686
- jedis连接池使用实例
bijian1013
redisjedis连接池jedis
实例代码:
package com.bijian.study;
import java.util.ArrayList;
import java.util.List;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoo
- 关于朋友
bingyingao
朋友兴趣爱好维持
成为朋友的必要条件:
志相同,道不合,可以成为朋友。譬如马云、周星驰一个是商人,一个是影星,可谓道不同,但都很有梦想,都要在各自领域里做到最好,当他们遇到一起,互相欣赏,可以畅谈两个小时。
志不同,道相合,也可以成为朋友。譬如有时候看到两个一个成绩很好每次考试争做第一,一个成绩很差的同学是好朋友。他们志向不相同,但他
- 【Spark七十九】Spark RDD API一
bit1129
spark
aggregate
package spark.examples.rddapi
import org.apache.spark.{SparkConf, SparkContext}
//测试RDD的aggregate方法
object AggregateTest {
def main(args: Array[String]) {
val conf = new Spar
- ktap 0.1 released
bookjovi
kerneltracing
Dear,
I'm pleased to announce that ktap release v0.1, this is the first official
release of ktap project, it is expected that this release is not fully
functional or very stable and we welcome bu
- 能保存Properties文件注释的Properties工具类
BrokenDreams
properties
今天遇到一个小需求:由于java.util.Properties读取属性文件时会忽略注释,当写回去的时候,注释都没了。恰好一个项目中的配置文件会在部署后被某个Java程序修改一下,但修改了之后注释全没了,可能会给以后的参数调整带来困难。所以要解决这个问题。
&nb
- 读《研磨设计模式》-代码笔记-外观模式-Facade
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
/*
* 百度百科的定义:
* Facade(外观)模式为子系统中的各类(或结构与方法)提供一个简明一致的界面,
* 隐藏子系统的复杂性,使子系统更加容易使用。他是为子系统中的一组接口所提供的一个一致的界面
*
* 可简单地
- After Effects教程收集
cherishLC
After Effects
1、中文入门
http://study.163.com/course/courseMain.htm?courseId=730009
2、videocopilot英文入门教程(中文字幕)
http://www.youku.com/playlist_show/id_17893193.html
英文原址:
http://www.videocopilot.net/basic/
素
- Linux Apache 安装过程
crabdave
apache
Linux Apache 安装过程
下载新版本:
apr-1.4.2.tar.gz(下载网站:http://apr.apache.org/download.cgi)
apr-util-1.3.9.tar.gz(下载网站:http://apr.apache.org/download.cgi)
httpd-2.2.15.tar.gz(下载网站:http://httpd.apac
- Shell学习 之 变量赋值和引用
daizj
shell变量引用赋值
本文转自:http://www.cnblogs.com/papam/articles/1548679.html
Shell编程中,使用变量无需事先声明,同时变量名的命名须遵循如下规则:
首个字符必须为字母(a-z,A-Z)
中间不能有空格,可以使用下划线(_)
不能使用标点符号
不能使用bash里的关键字(可用help命令查看保留关键字)
需要给变量赋值时,可以这么写:
- Java SE 第一讲(Java SE入门、JDK的下载与安装、第一个Java程序、Java程序的编译与执行)
dcj3sjt126com
javajdk
Java SE 第一讲:
Java SE:Java Standard Edition
Java ME: Java Mobile Edition
Java EE:Java Enterprise Edition
Java是由Sun公司推出的(今年初被Oracle公司收购)。
收购价格:74亿美金
J2SE、J2ME、J2EE
JDK:Java Development
- YII给用户登录加上验证码
dcj3sjt126com
yii
1、在SiteController中添加如下代码:
/**
* Declares class-based actions.
*/
public function actions() {
return array(
// captcha action renders the CAPTCHA image displ
- Lucene使用说明
dyy_gusi
Lucenesearch分词器
Lucene使用说明
1、lucene简介
1.1、什么是lucene
Lucene是一个全文搜索框架,而不是应用产品。因此它并不像baidu或者googleDesktop那种拿来就能用,它只是提供了一种工具让你能实现这些产品和功能。
1.2、lucene能做什么
要回答这个问题,先要了解lucene的本质。实际
- 学习编程并不难,做到以下几点即可!
gcq511120594
数据结构编程算法
不论你是想自己设计游戏,还是开发iPhone或安卓手机上的应用,还是仅仅为了娱乐,学习编程语言都是一条必经之路。编程语言种类繁多,用途各 异,然而一旦掌握其中之一,其他的也就迎刃而解。作为初学者,你可能要先从Java或HTML开始学,一旦掌握了一门编程语言,你就发挥无穷的想象,开发 各种神奇的软件啦。
1、确定目标
学习编程语言既充满乐趣,又充满挑战。有些花费多年时间学习一门编程语言的大学生到
- Java面试十问之三:Java与C++内存回收机制的差别
HNUlanwei
javaC++finalize()堆栈内存回收
大家知道, Java 除了那 8 种基本类型以外,其他都是对象类型(又称为引用类型)的数据。 JVM 会把程序创建的对象存放在堆空间中,那什么又是堆空间呢?其实,堆( Heap)是一个运行时的数据存储区,从它可以分配大小各异的空间。一般,运行时的数据存储区有堆( Heap)和堆栈( Stack),所以要先看它们里面可以分配哪些类型的对象实体,然后才知道如何均衡使用这两种存储区。一般来说,栈中存放的
- 第二章 Nginx+Lua开发入门
jinnianshilongnian
nginxlua
Nginx入门
本文目的是学习Nginx+Lua开发,对于Nginx基本知识可以参考如下文章:
nginx启动、关闭、重启
http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html
agentzh 的 Nginx 教程
http://openresty.org/download/agentzh-nginx-tutor
- MongoDB windows安装 基本命令
liyonghui160com
windows安装
安装目录:
D:\MongoDB\
新建目录
D:\MongoDB\data\db
4.启动进城:
cd D:\MongoDB\bin
mongod -dbpath D:\MongoDB\data\db
&n
- Linux下通过源码编译安装程序
pda158
linux
一、程序的组成部分 Linux下程序大都是由以下几部分组成: 二进制文件:也就是可以运行的程序文件 库文件:就是通常我们见到的lib目录下的文件 配置文件:这个不必多说,都知道 帮助文档:通常是我们在linux下用man命令查看的命令的文档
二、linux下程序的存放目录 linux程序的存放目录大致有三个地方: /etc, /b
- WEB开发编程的职业生涯4个阶段
shw3588
编程Web工作生活
觉得自己什么都会
2007年从学校毕业,凭借自己原创的ASP毕业设计,以为自己很厉害似的,信心满满去东莞找工作,找面试成功率确实很高,只是工资不高,但依旧无法磨灭那过分的自信,那时候什么考勤系统、什么OA系统、什么ERP,什么都觉得有信心,这样的生涯大概持续了约一年。
根本不是自己想的那样
2008年开始接触很多工作相关的东西,发现太多东西自己根本不会,都需要去学,不管是asp还是js,
- 遭遇jsonp同域下变作post请求的坑
vb2005xu
jsonp同域post
今天迁移一个站点时遇到一个坑爹问题,同一个jsonp接口在跨域时都能调用成功,但是在同域下调用虽然成功,但是数据却有问题. 此处贴出我的后端代码片段
$mi_id = htmlspecialchars(trim($_GET['mi_id ']));
$mi_cv = htmlspecialchars(trim($_GET['mi_cv ']));
贴出我前端代码片段:
$.aj