Python \u转码,以及Scray中文转码问题

最近在研究python的scray框架

尝试去爬各种东西

然后出现一坨坨类似乱码的东西

然后进行各种尝试

Python \u转码,以及Scray中文转码问题_第1张图片

趴下了得到的是unicode编码,要进行unicode转义

------------------------------------------

Scray框架的编码问题解决方法是

pilelines.py文件

# -*- coding: utf-8 -*-
import json
import codecs

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html


class QiubaiPipeline(object):
def __init__(self):
self.file = codecs.open('qiubai.json','w',encoding='utf-8') #这里面读入json

def process_item(self, item, spider):
line = json.dumps(dict(item))
self.file.write(line.decode('unicode-escape')) #这里解码
return item

def spider_closed(self, spider):
self.file.close()

settings.py文件

ITEM_PIPELINES = {
'qiubai.pipelines.QiubaiPipeline': 500,
}

然后你就可以看见美丽的中文了




你可能感兴趣的:(Python \u转码,以及Scray中文转码问题)