利用parallel加速tshark

    Parallel可以一台或多台服务器上执行命令,命令可以是shell脚本。文件列表、用户列表、主机列表、URL列表都可以作为输入端,测试下来,效果在单一服务器比多台服务器要明显。在实际应用中主要是对大批量pcap文件进行筛选。
先查一下服务器processor的个数
#cat /porc/cpuinfo/grep name|cut -f2 -d:|uniq -c
代码在CentOS7 和 CentOS8测试通过如下:
#!/bin/bash
doit{
    x=$1
    /usr/bin/tshark -r $x
}
export -f donit
cat ./pcapfilelist.txt|parallel -j+0 doit
代码还是很清晰的,这里的pcapfilelist.txt的格式是这样的
#cat ./pcapfilelist.txt
/home/user/test1.pcap
/home/user/test2.pcap
/home/user/test3.pcap
下面把parallel安装过程简述下
wget https://ftp.gnu.org/gnu/parallel/parallel-20190122.tar.bz2
tar jxvf parallel-20190122.tar.bz2
cd parallel-20190122
./configure
make -j 4
make install

你可能感兴趣的:(运维,系统)