shell 去除utf8文件中bom头的方法

本文介绍使用shell命令，批量去除utf8文件中bom头的方法。utf8的bom头由\xEF,\xBB,\xBF组成，带bom的文件在使用过程中，某些软件打开会出现乱码等异常，而要把文件重新另存为utf8无bom比较麻烦，因此直接使用shell命令实现比较方便。

1.去除utf8文件中bom头

首先创建一个utf8带bom头的文件，随便插入些内容，例如test.txt

使用命令xxd查看此文件的16进制编码

xxd test.txt
00000000: efbb bfe6 b58b e8af 95e6 9687 e4bb b60a  ................

可以看到头三个字节的16进制为 \xEF \xBB \xBF


我们可以使用shell的sed命令实现utf8 bom头去除

sed -i 's/^\xEF\xBB\xBF//g' test.txt

上面命令表示，把\xEF\xBB\xBF开头的字符替换为空。

执行完成后再使用xxd命令查看文件16进制编码

xxd test.txt
00000000: e6b5 8be8 af95 e696 87e4 bbb6 0a         .............

可以看到utf8 bom头被去除。

2.批量去除文件夹中utf8文件中的bom头

我们可以使用grep来查看哪些文件存在bom头，然后对这些文件执行替换。

grep -r -i -l $'^\xEF\xBB\xBF' . | xargs sed -i 's/^\xEF\xBB\xBF//g'

-r 在当前目录及其子目录下搜索
-i 忽略大小写的不同，所以大小写视为相同
-l 查询多文件时只输出包含匹配字符的文件名
 
如果不需要递归多层目录，只处理当前目录

grep -i -l $'^\xEF\xBB\xBF' * | xargs sed -i 's/^\xEF\xBB\xBF//g'

注意：mac中的sed命令有些不同，因此建议安装gnu-sed来处理

安装gnu-sed

brew install gnu-sed

设置默认路径

export PATH中加入/usr/local/opt/gnu-sed/libexec/gnubin: