一些奇技淫巧(持续更新~)

grep

# 在file2中匹配 file1的每一行
grep -f file1 -F file2

awk

# 标注两个文件中独有的数据和重复的数据
awk '{if(FNR==NR){a[$0]="old"}else{if(a[$0]){a[$0]=a[$0]"+new"}else{a[$0]="new"}}} END{for (i in a){print i":"a[i]}}' old new
 
# 数据格式转换
# a,1
# a,2
# b,4
# c,1
# c,3
# 转换为
# a:1,2
# b:4
# c:1,3
awk -F',' '{if(!a[$1])a[$1] = $2;else a[$1]=a[$1]","$2;} END{for (i in a) {print i":"a[i]}}' a
 
# awk 按某列去重
awk '!a[$1]++' file