LINUX下SHELL大杂烩

1.  统计行中关键字的出现次数（不重复）

cat  filename  |grep -Eo "uid:[0-9]+"  |awk -F: '{print $2}'  |sort -u  |wc -l 
数据例子：

play_type:local|sid:2731612721|road_ids:|startup_time:0.0|play_time:0.8|song_time:219.0|block_times:0|version:DM5.0.9.00_A1.6|channel:TG60106|device_type:LGELG-P990|uid:21336951

play_type:online|sid:25482377|road_ids:Lrk.L11505922|startup_time:0.57|p
lay_time:203|song_time:234|block_times:0|version:DM5.0.5.00_I3.0|channel:TG7518
7|device_type:iPhone+4S|uid:282049852

 

2.  逻辑运算

 1）或操作
   grep -E  '123|abc'  filename   // 找出文件（filename）中包含123或者包含abc的行
 2）与操作
   grep -E  '(ABC.*XYZ|XYZ.*ABC)'  finename    //查找ABC并且XYZ

 

3.  两个文件的交集，并集

前提条件：每个文件中不得有重复行

  1）取出两个文件的并集(重复的行只保留一份)

  cat file1 file2 | sort | uniq > file3

  2）取出两个文件的交集(只留下同时存在于两个文件中的文件)

  cat file1 file2 | sort | uniq -d > file3

  3）删除交集，留下其他的行

  cat file1 file2 | sort | uniq -u > file3