linux处理数据——去掉重复行&保留指定信息

打印指定列的信息

more info.txt  |awk -F ':' '{print $列}' |awk '{print $列}'

输出重复行

awk 'a[$0]++'  info.txt

输出不重复行

awk '!a[$0]++' info.txt 

输出某路径下所有包含指定字符串的文件内容

grep -r "字符" 路径

输出文件中包含某字符的所有行

cat 'ls 路径*' 

提取指定列字符并打印所有内容

awk -F " " '{if($1~/^3/) print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10}' sample.vcf > samplecol.vcf  #{if($1~/^3/) print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10}' 的意思是，在文件sample.vcf中，如果第一列($1)里面有匹配(~)正则表达式(/^3/)的话，那么就输出(print)到标准输出。保存到samplecol.vcf文件中。