你的apparent_encoding 还准确么？

前言

本人python也是业余的，所以下面的说法有不正确的地方，欢迎指正。

场景：

本人最近在使用python爬取某些公众号的某些文章的信息的时候，出现了一些编码上的问题。

问题描述：

在爬取的信息中，大多数的信息都是没有问题的，并且在之前爬取的公众号中，编码也是正常的，没有出现乱码的情况。但是这次爬取的公众号却出现了乱码的问题。其中乱码的数据如下：

原因分析：

经过代码的调试分析，发现其在获取返回信息的时候，编码推测是不正确的。

• 原来的代码：

def start_claw(self, offset=0):
    """
    开始爬取
    :param self:
    :param offset:
    :return:
    """
    # 头
    headers = self.headers

    url = self.url.format(offset=offset)

    # 转换成字典
    headers = myUtils.headers_to_dict(headers)
    r = requests.get(url, headers=headers, verify=False, proxies=self.__get_ip_proxy())
    r.raise_for_status()
    
    r.encoding = r.apparent_encoding
    json_result = r.json()
	# 。。。。。。。。。其他的代码。。。。。。
	# ......................

问题主要是出在 r.apparent_encoding 这句话推测的编码不正确。导致在解码的时候出现了乱码。

解决方案：

上面已经知道问题的原因，就是因为apparent_encoding 推测的编码不正确，导致在解码的时候出现了乱码，那么我们只要找到另一个可以更加准确的推测出编码的工具 这个问题就可以迎刃而解了。

那么经过多方查找，也确实找到了另一个推测编码的库(cchardet)，其改造后的代码如下：

def start_claw(self, offset=0):
    """
    开始爬取
    :param self:
    :param offset:
    :return:
    """
    # 头
    headers = self.headers

    url = self.url.format(offset=offset)

    # 转换成字典
    headers = myUtils.headers_to_dict(headers)
    r = requests.get(url, headers=headers, verify=False, proxies=self.__get_ip_proxy())
    r.raise_for_status()
    # 所以通过 cchardet.detect(r.content)['encoding'] 来推断 编码的类型，解决了问题。
    encoding = cchardet.detect(r.content)['encoding']
    # r.encoding = r.apparent_encoding
    r.encoding = encoding
    json_result = r.json()
	# 其他的代码...............略