爬虫字体替换（二）起点

1、在抓取起点中文网的小说信息时，发现网站把一些数字都转换成 其他的东西，如《圣墟》。

查看网页源代码，发现如点击、推荐、总字数等的信息全是类似这样的，是一组十进制数据：


2、思路

方式一：
1、需要获取字体文件所在的url,通过抓包获取所有字体文件，然后和网页源代码中展示的字体(@font-face: src:url(xxx.woff))进行对比，确认当前页面是同的是哪一个字体文件。
2、将字体文件.woff转化成.xml文件(pip install fontTools 这个包可以静.woff转化成.xml文件)
3、分析xml文件中内容，找到数字0-9分别对应什么内容：发现网页源代码中的十进制数据和xml文件中的中name的值是对应的，先获取十进制，在转化为十六进制，再根据十六进制的name的值"one"转换为1即可。
方式二：
起点中文网中字体的文件名是变化的，但是从源代码里面获取的数字和真实数字的关系是不变的。直接用字典将位置数字和真实数字表示出来。

3、具体思路：

①先定义表示英文单词的数字和阿拉伯数字之间的对应关系。
②请求网页源代码，提取出字体文件的url(即http://xxx.woff)，以及所有表示小说字数的十进制数据(& #100064;)
③将data这个十进制数据组成的字符串(& #100444;& #100444;& #100437;& #100438;& #100439;& #100445;)中的每一个十进制都转换成为十六进制。
④请求字体文件的url，获取字体文件的内容。 ⑤将本地保存的qd.woff转化为qd.xml文件
⑥根据十六进制的列表，从xml文件中根据code的值获取map标签。解析xml标签结构。

不附上代码的分析都是耍流氓，代码附上：

# 1.先定义表示英文单词的数字和阿拉伯数字之间的对应关系
convert_dict = {
    'one': '1',
    'two': '2',
    'three': '3',
    'four': '4',
    'five': '5',
    'six': '6',
    'seven': '7',
    'eight': '8',
    'nine': '9',
    'period': '.',
    'zero': '0'
}

# 2、请求网页源代码，提取出字体文件的url(http://xxx.woff)，以及所有表示小说字数的十进制数据(𘛠)
url = 'https://book.qidian.com/info/1004608738'

response = requests.get(url, headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'})
font_url = re.search(re.compile(r"@font-face.*?src.*?src: url\('(.*?)'\)", re.S), response.text).group(1)
data = re.search(re.compile(r'
.*?
.*?.*?(.*?)', re.S),
                 response.text).group(1)

# 3、将data这个十进制数据组成的字符串(𘡜𘡜𘡕𘡖𘡗𘡝)中的每一个十进制都转换成为十六进制。
num_list = []
number = data.split(';')
for num in number:
    if num:
        # %x：十六进制占位符
        res = '%x' % int(num.strip('&#'))
        num_list.append(res)

print(font_url, num_list)

# 4、请求字体文件的url，获取字体文件的内容。
font_response = requests.get(font_url, headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}).content
with open('qd.woff', 'wb')as f:
    f.write(font_response)
    f.close()

# 5、将本地保存的qd.woff转化为qd.xml文件
f = TTFont('qd.woff')
f.saveXML('qd.xml')

# 6、根据十六进制的列表，从xml文件中根据code的值获取map标签。解析xml标签结构。
from xml.etree import ElementTree

# 获取xml文件中的根节点(文档树对象)
root_obj = ElementTree.parse('qd.xml').getroot()
# 在root_obj的基础上，开始查找

对比原网页字数和我们得出的结果，发现一致。此处仅提取了总字数做替换，其他信息望自行尝试。


O(∩_∩)O~