爬虫实战2.1 解决CSS字体加密—大众点评店铺信息采集

从现在开始，会随机对各大网站的一些信息进行分析采集

1.目标

今天采集大众点评。先从简单点的开始：采集大众点评的美食类商家店铺信息。其中包括类别、店名、图片、星级、点评数、人均消费、口味评分、环境评分、服务评分、地址、推荐菜。

2.请求分析

首先先看一下链接跟页面：
http://www.dianping.com/guangzhou/ch10/g103

采集页面一览

这里不同的类别下均有很多店铺，由于看其他页信息需登录，所以这里我们先采集第一页。
再看该页的请求头信息：

请求头信息

这是一个get请求，而且没有传递参数,比较简单
到这里基本的请求分析已经完成了，下面我们开始采集。

3.采集

首先，通过请求起始url，我们拿到所有类别的地址

    def get_response(self, req_url):
        """
        请求
        :param req_url:
        :return:
        """
        response = requests.get(f'{req_url}', headers=self._headers)
        if response.status_code == 200:
            return response.content.decode('utf-8')
        return None
    def run(self):
        # 1. 获取所有类别地址
        response = self.get_response(self._start_url)
        content = etree.HTML(response)
        url_list = content.xpath('//div[@id="classfy"]//a/@href')

然后，通过请求这些地址，逐个去解析页面，在这里问题来了，我们先看一下其中一个商家的相关信息：

店铺图片跟名称

店铺其他信息

从这里已经找到了我们所有需要采集的信息了，但是除了店铺图片、名称、星级、推荐菜之外，其他的信息都是通过不同的符号来表示的，没有显示出真正的信息出来。到这里，我们可能就想到了反爬，其中的主要信息都被加密处理了，那这种是怎样加密的呢？这里就牵扯到了一种加密方法：CSS字体加密，先来简单了解下。

CSS字体加密

css字体加密是一种自定义字体映射加密，简单来说就是通过自定义的字体文件来渲染网页中的文字，网页上看到的文字，在网页源码中不再用文字表示，而是用相应的字体编码来表示。我们从页面上复制也复制不出来，以此达到了反爬的效果。

那这种反爬怎样去解决呢，接下来我们通过大众点评的小例子来分析一下。
首先要解决css字体反爬，要先找到他在哪，我们来看一下：

字体加密文件

开放字体格式地址

通过上面我们可以看出加密的标签svgmtsi对应有个class属性，点击这个标签，可以看到对应的css样式，最上面有个字体类型的属性也就是font-family，我们进入相应的css文件中看到后面有个.woff的文件url地址，.woff后缀的文件就是一种开放字体格式文件，同时，我们也看到前面有.eot后缀的文件，这也是一种字体格式文件，不过他是支持ie的，我们这里用的google，所以使用后面一种。
那么，找到这个文件后，我们将它下载下来，同时用FontCreator这个软件可以打开此类文件，打开后就是这样子的，通过对比发现，跟网页上的编码是对应的。

字体文件内容

上面初步认识了一下css字体加密，接下来继续我们采集的代码：
前面我们到了信息提取这一部分，又通过css字体加密的分析，可以以以下步骤来完成解析（以点评数为例,附核心操作代码）：

• 1.找到加密标签对应的css文件，文件中找到对应的字体文件，下载

            response = self.get_response(url)
            content = etree.HTML(response)

            # 找到相关css文件
            css_path = content.xpath('//link[contains(@href, "svgtextcss")]/@href')[0]
            time.sleep(3)
            css_content = self.get_response(f'http:{css_path}')

            # 点评数
            self.parse_review_num(css_content, content.xpath('//a[@class="review-num"]'))

• 2.对字体文件转换，这里用到了fontTools库，可以将.woff文件中的字体编码提取出来

        # 下载字体文件，如没有则下载，已存在则直接解析
        if not os.path.exists(woff_path):
            # 下载字体文件
            response = requests.get(f'http:{woff_url[0]}.woff', headers=self._headers)
            with open(woff_path, 'wb') as f:
                f.write(response.content)
            # 这里转为xml格式是为了前期的分析跟后面的信息提取
            time.sleep(2)
            # 解析成xml文件
            font_content = TTFont(woff_path)
            font_content.saveXML(xml_path)
            # 获取字体对应的编码列表
            uni_list = font_content['cmap'].tables[0].ttFont.getGlyphOrder()
            uni_list = [uni_code for uni_code in uni_list if uni_code.startswith('uni')]

• 3.将字体文件转换为xml文件后，通过xml文件跟woff文件对部分加密文字跟对应编码一一映射

        # 判断拿到的编码在不在字体编码列表中
        if f'uni{str(code_one, encoding="utf-8")[2:]}' in uni_list:
            # 如存在，则解析对应的xml文件
            DOMTree = parse(xml_path)
            rootNode = DOMTree.documentElement
            # 找到字体文件的坐标标签
            contentNodes = rootNode.getElementsByTagName("glyf")[0].getElementsByTagName('TTGlyph')[1:]

• 4.根据映射关系将页面源码中的编码替换为相应的文字，至此解析完成

看下解析成功后的结果（内容较多，拿出一条来举例）：

# 解析之前的编码
[b'\\ue7e9', b'\\uecd9', b'\\uf1eb', b'\\uf350']
# 解析完成之后的真实数据
['2', '5', '6', '3']

最最后，看下存到MongoDB中的结果

最终结果

至此，CSS字体文件加密已经基本上分析完成，上面红框的部分信息不全的原因是字体映射我只做了其中一部分，所以有些加密的字体还没有做映射，有兴趣的可以自己研究一下。