网页数据爬取中文乱码处理--编码问题

自学爬虫有一段时间了,期间总是觉得内容编码会傻傻分不清楚,尤其是直接网页拿数据的时候,遇见中文有时候特别麻烦,看大神介绍的东西太多,只记下了处理方式,仅供参考,不对地方欢迎大家指正~~


一般请求返回内容编码方式步骤如下:

1、查看数据源网页的编码形式--爬取数据所在网页源代码就有写:


2、编码解析:

respond.decode(请求返回的编码格式).encode(Python默认的utf-8)

笔记中其他大神这样教,实践中大多情况我都用:respond.encode(Python默认的utf-8).decode(请求返回的编码格式)


爬取网页内容正常编译,无报错,英文均显示正常,中文乱码

最近爬取免费取名网站时候,遇见爬下来的编码正确编码后无报错,英文均显示正常,但是中文奇奇怪怪乱码情况如下图,网页编码两种情况遇见解析后如此,处理方法如下,

网页数据爬取中文乱码处理--编码问题_第1张图片

第一种:网页编码为gb2312 (requests的get方式获取数据)

原来处理方式(出现上图乱码),响应内容=respond.text.encode('utf-8').decode('gb2312')×

改进处理方式:     respond.content.decode('gb18030','ignore') ---亲试遇见中文响应内容解析还是用这种方式好

                            respond.content.decode('gbk','ignore')

                             #使用gbk2312出现报错'gbk' codec can't encode character '\u30fb' in position 12530: illegal multibyte sequence~ 这是一个很尴尬的问题,第二种第一次处理也报错,后面又可以了~~~

总结:遇见中文编码decode里面,'gbk'/'gbk2312'/'gb18030' (备用繁体编码选项没用过,可以留用'big5'/'big5hkscs')总有一款适合你 实在不行看下面↓↓↓

第二种:网页编码为utf-8 (requests的get方式获取数据)

尝试了上面n中组合形式,就是顽固的不行,终于借鉴了一些大神的方法解决掉了,decode('utf-8')确定无疑。

解决乱码:在代码之前添加默认设置编码格式

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
url = 'https://www.yw11.com/html/qiming/xuename/2009/0929/273.html'
urlcontent = requests.get(url).content.decode('utf-8')

你可能感兴趣的:(关于python爬虫)