字体反爬之猫眼电影

暑假如约而至，暑期档电影究竟是谁能脱颖而出呢？

目前看来是刚上映的银河补习班热度最高。但最后鹿死谁手还尚未可知，我们可以通过爬取猫眼的实时票房数据来一看究竟。

通过观察网页源代码，我们发现，票房的数字变成了.而不是我们在网页上看到的6276.7。这个网站采取了字体反爬，这也是一种常见的反爬技术。网站采用了自定义的字体文件，内容能够在浏览器上正常显示，但是爬取的数据就变成了乱码，如同下图的小方框。

采用自定义字体文件是CSS3的新特性，CSS3 @font-face中定义了字体，这个自定义字体文件存放到 web 服务器上，它会在需要时被自动下载到用户的计算机上，以便我们在访问网页时渲染出字体。

我们可以利用fontTools这个第三方库，来对这些字体文件进行操作。

from fontTools.ttLib import TTFont
font_1 = TTFont('a.woff')
font_1.saveXML('font_1.xml')

我们可以在xml中查看这个字体文件。也可以利用百度字体编辑器，导入相应woff文档，便能够查看对应字体。

既然如此，那我们只要建立相应的映射关系，不就能解密字体了吗？easy~

经过观察发现，该字体文件每刷新一次页面都会发生更新，其name随着字体文件的变化而变化，这就令人有些头大了。

别着急，我们来看看这个xml页面吧。借助百度字体编辑器，发现这个F496代表的是4，而另外一个字体文件中的E603代表的是4。

我们在第一个xml中找到4，也就是F496，在第二个xml中也找4，即E603。

我们惊喜的发现这两个不同字体文件中对4的描述是完全一致的，仅仅是不同的字体文件它对4的命名不同，同时观察其他数字也能得到相同的结论。这样我们就找到了问题的关键，只要TTGlyph对象相同，它所表示的就是相同的数字。

我们可以先在本地存放一个base字体文件，这个字体文件中我们通过百度字体编辑器得到了一一对应关系。

font1=TTFont('./fonts/base.woff')
base_dict={'uniE18E': '3', 'uniE585': '2', 'uniE194': '9', 'uniF439': '4', 'uniE7DB': '7','uniF115': '0',
                'uniF0A4': '5', 'uniE311': '1', 'uniF7EF': '8', 'uniEACB': '6'}

再利用正则表达式从网页中下载到新的字体文件，并通过相同的字体对象构造新的映射关系，即新字体文件中定义的对象名与真实代表数字之间的对应关系。

response=requests.get(url,headers).text
# 正则匹配字体woff文件
font_file=re.findall(r'vfile\.meituan\.net\/colorstone\/(\w+\.woff)', response)[0]
url2='http://vfile.meituan.net/colorstone/' + font_file
new_file=requests.get(url2,headers)
with open('./fonts/'+font_file,'wb') as f:
    f.write(new_file.content)
font2=TTFont('./fonts/'+font_file)
# font2.saveXML('font_2.xml')
# 获取字符的name列表
name_list2=font2.getGlyphNames()[1:-1]
new_dict={}


for name2 in name_list2:
    obj2=font2['glyf'][name2]
    for name1 in name_list1:   
        obj1=font1['glyf'][name1]
            # 对象相等则说明对应的数字相同
            if obj1==obj2:
                new_dict[name2]=base_dict[name1]

在解决了字体反爬的问题之后，我们能利用requests库和各种解析的库在页面源代码中提取我们想要的信息了。

def get_info(response):
    '''
    输入：页面源码
    输出：包含电影票房等信息的字典列表    
    '''
    # Mongo配置
    conn=MongoClient('127.0.0.1', 27017)
    db=conn.maoyan                    #连接maoyan数据库，没有则自动创建
    mongo_my=db.film                  #使用film集合，没有则自动创建
    items=[]
    tree=etree.HTML(response)
    film_name=tree.xpath('//div[@class="movie-item-info"]/p/a/text()')
    booking_office_today=tree.xpath('//div[@class="movie-item-number boxoffice"]/p[@class="realtime"]/span/span/text()')
    booking_office_total=tree.xpath('//div[@class="movie-item-number boxoffice"]/p[@class="total-boxoffice"]/span/span/text()')
    a=tree.xpath('//div[@class="movie-item-number boxoffice"]/p[@class="realtime"]/text()')[1::2]
    b=tree.xpath('//div[@class="movie-item-number boxoffice"]/p[@class="total-boxoffice"]/text()')[1::2]
    for i in range(len(film_name)):
        item={'film_name':film_name[i],
              'booking_office_today':booking_office_today[i]+a[i].replace('\n',''),
              'booking_office_total':booking_office_total[i]+b[i].replace('\n',''),              
            }
        items.append(item)
        mongo_my.insert_one(item)       
    return items

本文全部代码已上传至后台，详情请回复“猫眼”

                                                                           喜欢就点个赞吧❤