编程遇到的坑之关于字符编码

• 先认识一下常见的几种编码方式，记得有一个《编码的故事》对相关的编码发展讲得很详细，可以参考一下。
  • GB2312：中国规定的汉字编码，即简体中文的字符集编码
  • GBK ：GB2312的扩展 ,兼容GB2312，还能显示繁体中文与日文的假名。
  • Unicode：国际组织制定的可以容纳世界上所有文字和符号的字符编码方案
  • UTF-8 （8-bit Unicode Transformation Format）是最流行的一种对 Unicode 进行传播和存储的编码方式
• 再提一句编程过程中遇到的编码出现的不同位置。我们有些时候再cmd里运行正常，但是写入文件就出现问题的原因就是这几个部分不一致的原因。
  • 程序文件的编码
  • 程序运行时环境（IDE）的编码
  • 程序读取的外部文件或者网页的编码
    记事本的另存为对话框里编码ANSI就是MBCS

---

1. 因为Python2编辑器默认的编码是ASCII，无法识别中文，所以我们经常在程序的第一行加上： #coding=utf-8。通过键入sys.getdefaultencoding()可以了解当前编辑系统的的编码方式；除此之外python里可以使用encode('XXX')来实现编码的变化，一般来说，常常使用unicode作为中间编码方式，utf-8---unicode--gbk。
   对

import sys 
reload(sys)
sys.setdefaultencoding('utf-8')

PS：在cmd 下输入：chcp 65001 命令回车可以改变CMD的编码方式为utf-8， chcp 936 可以换回默认的GBK，chcp 437 是美国英语

2. 使用python将unicode编码方式的字符串存储在TXT格式下，出现编码问题：只要是中文，进入记事本打开都是乱码，出现这个问题的原因是记事本默认的编码方式是ANSI，导致编码直接转化，出现问题。
   

   对比
   尝试了在python中修改编码方式都没有成功，最后尝试将字符存储的文件后缀改成log（dat之类的随便改），编码方式正常。
   注： 记事本可以在另存为的时候可以设置默认的编码方式有ANSI 、Unicode、Unicode-big-endian、UTF-8。还有一种方法：修改注册表的方式修改记事本编码可以长久解决。
3. 与程序相关的几种编码方式。比如一个中文词：哈哈，在设置为coding:gbk的python代码中，存储在编码为utf-8的文件中。首先获取'哈哈'的编码时，由文件编码格式确定，为'\xe5\x93\x88\xe5\x93\x88'。要改变编码方式的时候，用声明编码处指定的编码GBK，将'\xe5\x93\x88\xe5\x93\x88'按GBK解码，得到就是''鍝堝搱'
4. 使用python的encode与decode的错误也很多，因为此时要使用unicode作为中间编码方式，在文件存储，文件解析，文件运行结果展示的编码不一致的时候出现很多问题。在字符串编码是unicode的时候，可以直接encode为gbk，如果是utf-8则需要先decode改为unicode之后才能encode变成gbk。

#!/usr/bin/env python 
#coding=utf-8 
s="中文" 
if isinstance(s, unicode): 
    #s=u"中文" 
    print s.encode('gb2312') 
else: 
    #s="中文" 
    print s.decode('utf-8').encode('gb2312')

5. python获取编码属性

Python获取系统编码参数的几个函数
系统的缺省编码(一般就是ascii)：sys.getdefaultencoding() 
系统当前的编码：locale.getdefaultlocale() 
系统代码中临时被更改的编码（通过locale.setlocale(locale.LC_ALL,“zh_CN.UTF-8″)）：locale.getlocale() 
文件系统的编码：sys.getfilesystemencoding() 
终端的输入编码：sys.stdin.encoding 
终端的输出编码：sys.stdout.encoding 

参考资料：
python 相关编码[转]
玩转Python让人讨厌的编码问题
python常用功能介绍之一：编码与解码