[Linux] awk学习笔记-词频统计

背景

awk用来处理文件和数据,是类unix下的一个工具,也是一种编程语言。支持条件判断,支持for和while循环。

例子

192. 统计词频

写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

方法一

awk '{for (i=1; i <= NF; i++) {map[$i]++}}; END {for (w in map) {print w, map[w]}}' words.txt | sort -rn -k2

awk 'BEGIN {FS=" "}; {for (i=1; i <= NF; i++) {map[$i]++}}; END {for (w in map) {print w, map[w]}}' words.txt | sort -rn -k2

{map[$i]++}可以写为(map[$i]++)或者map[$i]++end不能丢掉。

awk的默认分隔符为' ',所以上面两种写法等价。

方法二

cat words.txt | xargs -n1 | sort | uniq -c | sort -rn -k1 | awk '{print $2, $1}'

你可能感兴趣的:([Linux] awk学习笔记-词频统计)