python汉字编码

python汉字编码

 

   在处理一段文本的时候，首先了解文本的汉字编码。在windows下默认的文件编码是GBK，而

linux的一般是utf-8.

想要查看文件的编码方式，使用vim打开文本，然后在命令行模式下输入：set fileencoding,回车

即可。

   Python中有两种默认的字符串：str和unicode。在Python中一定要注意区分“Unicode字符串”

和“unicode对象”的区别。后面所有的“unicode字符串”指的都是python里的“unicode对象”

。

事实上在Python中并没有“Unicode字符串”这样的东西，只有“unicode”对象。一个传统意义上

的unicode字符串完全可以用str对象表示。只是这时候它仅仅是一个字节流，除非解码为unicode

对象，没有任何实际的意义。

  函数 decode( char_set )可以实现 其它编码到 Unicode 的转换，函数 encode( char_set )实

现 Unicode 到其它编码方式的转换。 

  比如 ("你好").decode( "GB2312") 将得到 u'\u4f60\u597d'，即 "你"和“好"的 Unicode 码

分别是 0x4f60 和 0x597d

再用 (u'\u4f60\u597d').encode("UTF-8") 将得到 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是  “你好

”的UTF-8编码结果。

python中使用 unicode的关键：unicode是一个类，函数unicode(str,"utf8")从utf8编码（当然也

可以是别的编码）的字符串str生成 unicode类的对象，而函数unc.encode("utf8")将unicode类的

对象unc转换为（编码为）utf8编码（当然也可以是别的编码）的字符串。于是，编写unicode相关

程序，需要做的事情是

    * 获取数据（字符串）时，用unicode(str, "utf8")生成unicode对象

    * 在程序中仅使用unicode对象，对程序中出现的字符串常量都以u"字符串"的形式书写

    * 输出时，可将unicode对象转换为任意编码输出，使用str.encode("some_encoding")

>>> unicode( " 你好 ",  " utf8 ")
u ' \u4f60\u597d '
>>> x = _
>>> type(x)
>>> type( " 你好 ")
>>> x.encode( " utf8 ")
' \xe4\xbd\xa0\xe5\xa5\xbd '
>>> x.encode( " gbk ")
' \xc4\xe3\xba\xc3 '
>>> x.encode( " gb2312 ")
' \xc4\xe3\xba\xc3 '
>>>  print x
你好
>>>  print x.encode( " utf8 ")
你好
>>>  print x.encode( " gbk ")
???

还有一种就是对于特殊字符的处理：

  try:
     print i.decode( ' unicode_escape ').encode( ' utf8 ')
   except:
     print i