爬虫"搜狗微信公众号"遇到的一些问题——Requests 解析html gzip压缩

一直都觉得微信公众号是爬虫的理想对象，获取到的对象url在手机上展示非常的赞，广告排版都在能接受的范围内，正好最近2练手python爬虫，果断的上了。
首先分析一下搜狗微信公众号的手机端：

Chrome

这里的请求非常简单 分析之后可以发现基本就是：
url='http://weixin.sogou.com/wapindex/wap/0612/wap_9/%d.html'%i
变换的也就是后面的数字
然后正常使用requests去请求：
response=requests.get(url,headers=mergedHeaders)
然后就乱码了，这里我尝试了很多解码方式，但是都解决不了，当然最后折腾了好久之后发现是html的gzip压缩问题，在网络上查询基本都是urllib2的解决办法
重新查询requests的官方文档发现了我需要的：

requests官方文档

很明显，这里说了使用response.content方法
Requests会自动解码gzip，不过返回的是byte内容，所以我们只需要将byte to String 就可以了，好，尝试一下
转换方法：

def byteToString(byteData):
    '''
    将byte转化为String
    :parambyteData:
    :return: String
    '''
    return BytesIO(byteData).read().decode()

然后请求内容：

response=requests.get(url,headers=mergedHeaders)
ifresponse.headers['Content-Encoding']=='gzip':
    result=BytesIO(response.content).read().decode()
    return result
else:
    return response.text

问题解决

问题解决