SyntaxError: Non-ASCII character Python、Unicode和中文

http://blog.chinaunix.net/u/3204/showart_389639.html

http://www.woodpecker.org.cn/diveintopython/xml_processing/unicode.html

python的中文问题一直是困扰新手的头疼问题，这篇文章将给你详细地讲解一下这方面的知识。当然，几乎可以确定的是，在将来的版本中，python会彻底解决此问题，不用我们这么麻烦了。

先来看看python的版本：
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'

（一）
用记事本创建一个文件ChineseTest.py，默认ANSI：
s = "中文"
print s

测试一下瞧瞧：
E:\Project\Python\Test>python ChineseTest.py

File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but  no  encoding  declared ; see http://www.python.org/peps/pep-0263.html for details

偷偷地把文件编码改成UTF-8：
E:\Project\Python\Test>python ChineseTest.py
  File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but  no  encoding  declared ; see http://www.pytho
n.org/peps/pep-0263.html for details

无济于事。。。
既然它提供了网址，那就看看吧。简单地浏览一下，终于知道如果文件里有非ASCII字符，需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI，并加上编码声明：
# coding=gbk
s = "中文"
print s

再试一下：
E:\Project\Python\Test>python ChineseTest.py
中文

正常咯：）
（二）
看一看它的长度：
# coding=gbk
s = "中文"
print len(s)
结果：4。
s这里是str类型，所以计算的时候一个中文相当于两个英文字符，因此长度为4。
我们这样写:
# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode，unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)
结果：
2
2
2
（三）
接着来看看文件的处理：
建立一个文件test.txt，文件格式用ANSI，内容为:
abc中文
用python来读取
# coding=gbk
print open("Test.txt").read()
结果：abc中文
把文件格式改成UTF-8：
结果：abc涓枃
显然，这里需要解码：
# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")
结果：abc中文
上面的test.txt我是用Editplus来编辑的，但当我用Windows自带的记事本编辑并存成UTF-8格式时，
运行时报错：
Traceback (most recent call last):
  File "ChineseTest.py", line 3, in
    print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence

原来，某些软件，如notepad，在保存一个以UTF-8编码的文件时，会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。
因此我们在读取时需要自己去掉这些字符，python中的codecs module定义了这个常量：
# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
结果：abc中文

（四）一点遗留问题
在第二部分中，我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢？
第一反应是我们的编码声明里用了gbk(# coding=gbk)，但真是这样？
修改一下源文件：
# coding=utf-8
s = "中文"
print unicode(s, "utf-8")
运行，报错：
Traceback (most recent call last):
  File "ChineseTest.py", line 3, in
    s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
显然，如果前面正常是因为两边都使用了gbk，那么这里我保持了两边utf-8一致，也应该正常，不至于报错。
更进一步的例子，如果我们这里转换仍然用gbk：
# coding=utf-8
s = "中文"
print unicode(s, "gbk")
结果：中文
翻阅了一篇英文资料，它大致讲解了python中的print原理：
When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display.

To print data reliably, you must know the  encoding that this display program expects.

简单地说，python中的print直接把字符串传递给操作系统，所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同)，所以这里可以使用gbk。
最后测试：
# coding=utf-8
s = "中文"
print unicode(s, "cp936")
结果：中文



Python的中文处理及其它
Posted by 令狐虫
前段时间猛禽在写他的第一个Python程序，期间一直向我抱怨说Python的中文处理有这样那样的问题。说句实话我之前并没有花过很大的精力在这种编码处理方面，不过我很纳闷，难道Python的编码处理能力真这么弱么？于是去做了一些试验，现在来简单的聊几句。

我们知道在Unicode出现之前，处理中文是一件非常麻烦的事情。因为没有自己的独立编码，GB（GB2312、GBK、GB18030）码是 用2个多个ASCII字符来表示的，这就带来了和ASCII码的区分、字数统计等等一系列的问题。而在Unicode中，中文、英文以及其它很多字符都有 自己独立的编码，这样一来，就没有上述问题了。因此，在可能的环境中，使用Unicode处理中文，是最好的选择。


一般来说，对中文处理的主要流程可以如下：

原始字符串用相应的编码转为Unicode
中间处理一律采用Unicode
将Unicode转成需要的编码输出
在Python中，跟Unicode相关的元素有以下几个：u前缀、unicode函数、codecs。他们有什么联系和区别么？

u前缀表示后面跟的那个字符串常量是一个Unicode字符串。但它仅仅表示这是一个Unicode字符串，对字符串本身的编码却没有做任何改变。比如：

s = u"测试"
s的值是：

u'\xb2\xe2\xca\xd4'
而

s = "测试"
s的值是：

'\xb2\xe2\xca\xd4'
可以看到，除了前面的u前缀外，字符内部编码没有丝毫差别。因此，我们要得到一个Unicode的中文字符串，u前缀并不是一个好方法。那么u前缀有什么作用呢？我的猜想是对非英语字符可能能起作用，未经证实，猜错不管。

和u前缀不同，unicode函数有一个转换编码的过程，在转换过程中，用到了codecs。

s = unicode("测试", "gb2312")
s的值是：

u'\u6d4b\u8bd5'
可以看到，这时的s，是一个真正的双字节Unicode编码字符串了。

结合上面的中文处理流程，我们可以得到一个比较一般的Python中文处理的流程：

将欲处理的字符串用unicode函数，以正确的编码转换为Unicode
在程序中统一用Unicode字符串进行操作
输出时，使用encode方法，将Unicode再转换为所需的编码。
下面是一个简单的演示，用re库查询一个中文字符串并打印：


>>> p = re.compile(unicode("测试(.*)", "gb2312"))
>>> s = unicode("测试一二三", "gb2312")
>>> for i in p.findall(s):
      print i.encode("gb2312")
一二三
有几点要说明一下：

所谓“正确的”编码，指得是指定编码和字符串本身的编码必须一致。这个其实并不那么容易判断，一般来说，我们直接输入的简体中文字符，有两种可能的编码：GB2312（GBK、GB18030）、以及UTF-8。
encode成本地编码的时候，必须要保证目标编码中存在欲转换字符的内码。encode这种操作一般是通过一个本地编码对应Unicode的编 码转换表来进行的，事实上每个本地编码只能映射到Unicode的一部分。但是映射的区域是不同的，比如Big-5对应的Unicode的编码范围和 GBK对应的就不一样（实际上这两个编码有部分范围是重叠的）。所以，Unicode的一些字符（比如本身就是从GB2312转换来的那些），可以映射到 GBK，但未必可以映射到Big-5，如果你想转换到Big-5，很有可能就会出现编码找不到的异常。但UTF-8的码表范围实际上和Unicode是一 样的（只是编码形式不同而已），所以，理论上来说，任何本地编码的字符，都可以被转换到UTF-8。
PS1: GB2312、GBK、GB18030本质上是同一种编码标准。只是在前者的基础上扩充了字符数量。

我试过了，我的py文件编码是UTF-8，但是使用#coding UTF-8和#coding GBK都不行，只有#coding cp936可以。我的操作系统是XP。Python 2.6

 # coding=cp936
 s = "中文"
 print unicode(s, "cp936")