[shell]数据的并集和差集

统计数据时经常会有这样的要求,有文件A和文件B。现在需要知道文件中的数据,那些是A和B共有的,那些只出现在A文件中(或者那些只出现在B文件中)。这样的需求可以通过uniq命令完成。

uniq -d 会输出重复行

uniq -u 只显示唯一的行

利用uniq  sort 略施小计就能搞定了

例如 文件A

100
101
102
100

文件B

103
102
102

脚本如下

cat A | sort | uniq >tmpA #A数据集祛重
cat B | sort | uniq > tmpB #B数据集祛重

cat tmpA tmpB | sort | uniq -d  #A和B的交集

cat tmpA tmpB tmpB| sort | uniq -u #A中有而B中没有的数据(A-B)

说明,交集和差集是计算原理是什么呢?其实单步执行一下就清楚了。

cat A | sort | uniq >tmpA ;cat  tmpA
100
101
102

cat B | sort | uniq >tmpB ;cat  tmpB
102
103
然后用cat tmpA tmpB 合并两个文件

cat tmpA tmpB
100
101
102
102
103

最后,用uniq找出文件中的重复行,就是A和B的交集了

cat tmpA tmpB | sort | uniq -d
102

至于求差集,原理是类似的。


你可能感兴趣的:([shell]数据的并集和差集)