Python去除特殊字符\xa0、u'\xe4等

有时我们会碰到类似下面这样的 unicode 字符串:

u'\xe4\xbd\xa0\xe5\xa5\xbd'

•  

这明显不是一个正确的 unicode 字符串，可能是在哪个地方转码转错了。

我们要想得到正确的 unicode 字符串首先就必须先将这个字符串转成非 unicode 字符串， 然后再进行解码。按照普通的办法进行 encode 肯定是不行的，因为这不是一个正确的 unicode 字符串：

In [1]: u'\xe4\xbd\xa0\xe5\xa5\xbd'.encode('utf8')
Out[1]: '\xc3\xa4\xc2\xbd\xc2\xa0\xc3\xa5\xc2\xa5\xc2\xbd'

In [2]: print u'\xe4\xbd\xa0\xe5\xa5\xbd'.encode('utf8')
盲陆聽氓楼陆
那如何才能得到我们想要的 \xe4\xbd\xa0\xe5\xa5\xbd 呢？

python 提供了一个特殊的编码（ raw_unicode_escape ）用来处理这种情况：

In [4]: u'\xe4\xbd\xa0\xe5\xa5\xbd'.encode('raw_unicode_escape')
Out[4]: '\xe4\xbd\xa0\xe5\xa5\xbd'

In [5]: u'\xe4\xbd\xa0\xe5\xa5\xbd'.encode('raw_unicode_escape').decode('utf8')
Out[5]: u'\u4f60\u597d'

In [7]: print u'\u4f60\u597d'
你好

去除 \xa0等字符：

最近在用爬虫爬取网页信息时，在网页源码中遇到了“ "字符串，经查阅，发现该字符是不间断空格符。我们通常所用的空格是 \x20 ，是在标准ASCII可见字符 0x20~0x7e 范围内。而 \xa0 属于 latin1 （ISO/IEC_8859-1）中的扩展字符集字符，代表空白符nbsp(non-breaking space)。 latin1 字符集向下兼容 ASCII （ 0x20~0x7e ）。

 

解决方法：

>>> s = '09月27日\xa0发布'
>>> s = "".join(s.split())
>>> s
'09月27日发布'
>>> 

注：

join()方法： 

join()： 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串。

split():split方法中不带参数时，表示分割所有换行符、制表符、空格。