shell脚本分行、分词

利用shell脚本可以很容易的对文本文件进行分行、分词。
首先得先了解一个特殊的环境变量IFS(internal field separator);
这个环境变量定义了bash shell用作字符分割符的一系列字符。在默认的情况下，IFS以以下字符作为字段分割符：

空格
制表符
换行符

bash shell遇到以上任一字符，则认为遇到一个新的字符段。有时为了方便处理文件，我们需要一个或者更多个字段分割符，我们可以利用以下语句更改IFS；

IFS=$':'    #一个分割符时,将会以冒号为分割符
IFS=$'\n:;' #多个分割符，将会以回车、冒号、分号作为分割符

为了防止在脚本中定义了新的字段分割符，而在脚本结束后忘记恢复IFS默认值，在写shell脚本时可以这样写：

IFS_OLD=$IFS   #保存默认IFS值
IFS=$'\n'      #自定义的分割符

##<使用新的IFS的脚本代码>##

IFS=$IFS_OLD   #脚本结束后，恢复默认值

具体的代码：
处理文件

vim test_file

this is IFS test file
changing the IFS calue
hello world

1:shell脚本分行代码

vim ifs_test.sh

#!/bin/sh
FILE=test_file #文件名字需要改为要处理的文件名
IFS_OLD=$IFS
IFS=$'\n'
for line in `cat $FILE`
do
    echo $line
done
IFS=$IFS_OLD

代码很简单，以回车为字段分割符去处理文件。
2：脚本分词

vim ifs_test.sh

#!/bin/sh
FILE=test_file #文件名字需要改为要处理的文件名
IFS_OLD=$IFS
IFS=$'\n'
for line in `cat $FILE`
do
    echo $line
    IFS=$' '
    for word in `echo $line`
    do
        echo $word
    done

done
IFS=$IFS_OLD

处理结果：

chmod u+x ifs_test.sh
./ifs_test.sh

this is IFS test file
this
is
IFS
test
file
changing the IFS calue
changing
the
IFS
calue
hello world
hello
world

测试实例通过，利用IFS这个环境变量可以很方便的处理文件。比用c语言编程处理文件放便多了。