python字符串设置编码_手把手教你：python字符串编码详解
1读写文件:
open打开文件，read读取的是str,读取之后需要解码为unicode，用decode()。
write()时，若参数为unicode，需要使用你希望写入的编码进行encode。如果是其他编码格式的str,需要先用该str的编码进行decode(),转换成unicode后再使用写入的编码进行encode()。
如果直接将unicode写入到文件，那么将使用源代码文件声明的字符编码进行编码然后写入
也就是说:写入到文件的必定是str，除非自己进行编解码，否则存入的编码是声明的编码方式
2 codecs
用指定的编码打开文件，文件读取返回的是:unicode。写入时:如果参数是unicode,则用open时指定的编码进行编码后写入；如果是str,则根据源代码文件声明的字符编码，解码成unicode再转换为open指定的编码进行编码后写入。
也就是说:写入的必定是str,而且str的编码方式是打开时所指定的编码方式
3建议
使用字符编码声明，所有源代码文件使用相同的字符编码声明
全部使用unicode
用codecs.open代替内置的open
避免使用MBCS/DBCS/utf-16
decodeearly:将文件中的内容转化成unicode再进行下一步处理
Unicodeeverywhere:程序内部处理用unicode
Encodelate:最护encode回所需要的encoding,例如把最终结果写进结果文件
明确函数中的输入参数和返回值的类型是什么
4python编码转换过程
原有编码->内部编码(unicode)->目的编码
Unicode:将所有语言统一到一套编码例，不会乱码,通常为2字节的可变字长编码。
英文:1个字节，汉字：3个字节，ascii编码可以看做是utf-8编码的一部分
Ascii:1个字节，255
在计算机中，统一使用unicode进行编码，需要传输或保存时，会转换为utf-8编码
记事本编辑过程:文件读取的utf-8字符被转换为unicode字符到内存里，保存的时候把unicode转换为utf-8
浏览网页过程:服务器把动态生成的内容转换为utf-8再传输到浏览器
\u4e2d:\u后面是十六进制的unicode码
5 python源代码
源代码也是文本文件，当源代码中包含中文时，需要指定保存为utf-8编码
6 u’’的作用
表示u后面的字符串是unicode字符串，python用unicode的机制进行处理，字符串操作时：会动用到内部的unicode处理函数，保存时以unicode字符保存，对于实际上不是unicode的字符串，做unicode动作处理会出问题。
u前缀只适用于你的字符串常亮真的是unicode
7 中文字符的IO操作
str:将字符串看做是字节的序列，基本单位更小
Unicode:看做是字符的序列
str->Unicode:decode，需要把字节序列解释成字符序列，字节序列是底层的存放方式，解码(decode)成更高层的字符以便使用
Unicode->str:encode,把字符序列编码为字节序列后进行存储
8 关于开头的几行代码
str实际是:byte数组，或者可以理解成一个纯ascii码字符组成的字符串
9 常见错误
UnicodeDecodeError:发生在str字符串解码为特定的unicode字符串。由于不同的编码只能映射部分str字符串到对应的unicode字符
Unicode函数是将一段string按照输入的编码转换成目标的编码,如果出现了与输入编码不相同的编码时,就会抛出UnicodeDecodeError异常
三种处理方法:strict,replace,ignore
strict:默认，直接抛出异常，通过register_error:可以有自己的处理方法
10 python中文处理流程
将欲处理的字符串用unicode函数以正确的编码转换为unicode->在程序中统一使用unicode字符串进行操作->输出时，用encode方法，将unicode转换为所需的编码
正确的编码:指定的编码和字符串本身的编码必须一致，输入中文可能有两种编码:GB2312(GBK,GB18030)或者UTF-8
encode为本地编码的时候，需要保证目标编码中存在欲转换字符的内码
11 总结
代码模块需要指定编码，默认为ascii，不支持中文
python2内部编码为unicode,可处理世界所有语言的字符，utf-8是unicode的实现形式
编码转换：其他的编码decode()为unicode，再编码encode()为你指定的编码，就不会乱码
网页处理:若代码用utf-8,网页为gbk，则需要这样处理:
html= html.decode(“gbk”).encode(“utf-8”)
unicode的汉字编码写到文件中:需要根据文本文件的编码进行转换，可以encode(“utf-8”)或者encode(“gbk”)
凡是报错信息中包含:”ASCII”，就是没有指定汉字编码