文本编辑 UTF-8 BOM 中的BOM释义

参考资料

  1. UTF8のBOM無しとBOM付きの違い
  2. BOMなしUTF-8によってWindowsでもたらされる困惑
  3. 文字コードをUTF-8 BOMなし(UTF-8N)でファイル保存をする方法

目录

  • 一. 前提
  • 二. BOM
  • 三. CSV文件中的表现


一. 前提

在使用Windows自带的记事本编辑.csv文件的时候,准备保存为UTF-8编码时,发现了有如下两个选项

  • UTF-8
  • 带有 BOM 的 UTF-8

文本编辑 UTF-8 BOM 中的BOM释义_第1张图片
这两种格式有什么区别?BOM到底是啥?


二. BOM

在网上找到了张图,如下图所示EF BB BF就是BOM标记。
文本编辑 UTF-8 BOM 中的BOM释义_第2张图片
YUTF8.txtYUTF8BOM.txt 两个文本文件的内容相同,都是1,2,3,4

⏹BOM(Byte Order Mark),字节顺序标记,出现在文本文件头部,是一个不可见的隐藏字符。
一般用来帮助一些应用程序识别文件的编码,尤其是在处理包含非ASCII字符的文本文件时。
含BOM的文本文件和不含BOM的文本文件的唯一区别就是文件开头是否带不可见的隐藏字符,除此之外没有区别。

⏹2018年末之前的Win10自带的记事本,保存的时候会自动给文本文件添加BOM,随着2018年末的Win10升级,终于给记事本添加了是否带BOM保存的选项。

⏹在日本,UTF-8 不含BOM叫 UTF-8 BOMなし,也叫 UTF-8N

⏹一般保存代码文件之类的,都不会带BOM。


三. CSV文件中的表现

⏹有两个CSV文件,csv1.csvcsv2.csv,文件内容如下:

贾飞天,哈哈,你好
AAA,BBB,CCC

⏹其中csv1.csv用UTF-8保存,而csv2.csv用UTF-8 BOM保存,2个文件的磁盘占用如下所示

文本编辑 UTF-8 BOM 中的BOM释义_第3张图片

可以看到csv1.csv占用了36个字节,明明是相同的内容,而csv2.csv却占用了39个字节,多出来的3个字节就是BOM所占用的。

可以看到,用纯UTF-8编码保存的CSV文件用Excel文件打开会乱码,但是用UTF-8 BOM编码保存事务CSV文件却不会乱码。

文本编辑 UTF-8 BOM 中的BOM释义_第4张图片

你可能感兴趣的:(小知识,文本编辑)