猫眼字体反爬
一.背景
字体反爬是什么鬼?我才听说的时候一脸懵逼.最后发现是字体编码方式.简单解释就是一种映射关系,网页的特定编码方式.说再多也不如来一图.
看图,无名之辈的票房是不是大家都能看懂,4029.11万.接下来showtime到了.
4029.11是不是很爽快的变成一堆堆框框了.老实交代有木有打开猫眼观察了.是不是惊悚的发现数字基本都变了.这是什么鬼,其实就是一种自定义字体.不对不对,也不一定是一种,因为亲爱的猫眼就是很多种自定义字体.所以你还会绝望的发现你每次打开网页看到的票房显示的是一样的,但是当你打开开发者工具却发现自定对应的映射每次都变了.待会再介绍详情.接下来我们在网页代码里面搜索font.对,就是很多个框框前面那个stonefont.为什么不搜stonefont呢,因为你会搜出40个结果来.然后你搜一下font就能得到字体映射对应的网址.
url()里面的就是字体映射所在的网页.其实这也解释了为什么只有数字才反爬.不对应该说少量的字体.因为汽车之家里面有一些中文也是这样的.理论上来说如果你对自己服务器的性能非常自信,你也可以把所有的字体都映射一遍.那基本就不用爬了.
我们把url括号里的网址提取出来.然后打开这网页.下载得到字体.然后用百度的工具http://fontstore.baidu.com/static/editor/index.html打开看看这个字体映射里面到底包括了多少字符.
里面一个有12个字符.第一个是空格,有用的是后面的.是不是看到每个数字下面都有一个uni开头的字符?这个就是对应的关键.(这里我不太完全理解.我感觉应该是unicode表的字符,而不是utf-8编码所以在开发者工具里并不能显示出来)那么我们再来详细看看这个字符里面的构成.
这一步需要一些辅助,先安装这个库.
pip install fonttools
然后利用python将字体文件转化成能观察的,如下
from fontTools.ttLib import TTFont
font=TTFont('base.otf')
font.saveXML('base.xml')
这样用sublime打开base.xml就可以看到完整的字体文档了,也就跟网页结构差不多.
各位可爱的帅哥美女有没有发现这个跟刚刚百度工具打开的uni字符很像啊,准确的说不是像而是直接就下.但是我们不可能每次都打开看啊,他们到底怎么对应的,不急请看下图是不是发现有个name="uniE183".是个这个结构里面就是uniE183的字符形状.
这就解释了为什么是半自动了.我们首先下载一套字体,然后查看一套字体对应的数字关系,然后爬虫运行的时候把字体下载下来,通过每一个字符对应的图形对比,如果字体图形一样,那么就代表了是指同一个数字,这也是为什么我一直称它为映射的原因.
二.编程实现
接下来就撸起袖子开始干啦.
1.需要的库
import requests
from fake_useragent import UserAgent
from pyquery import PyQuery as pq
import re
from lxml import html
import woff2otf
from fontTools.ttLib import TTFont
这些库都可以通过pip安装.唯一需要注意的是woff2otf这个是github上大神写的,必须将附带的两个文档也下了.然后把这两个文档放在和你程序同目录下才能导入这个woff2otf库.
2.返回网页源码
def get_page():
url = 'http://maoyan.com/'
ua = UserAgent()
headers = {'User-Agent': ua.random}
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
except requests.ConnectionError as e:
print(e.args)
这一步是有两用处,一是得到字体编码的网址.就是url后面括号里面的网址,用来下载字体文件,二是得到你要爬的信息.
3.下载字体
def down_ziti(html):
ua = UserAgent()
headers = {'User-Agent': ua.random}
cmp = re.compile(",\n.*?url\('(.*?.woff)'\)")
url = cmp.findall(html)
url = 'http:' + url[0]
response = requests.get(url, headers=headers, stream=True)
with open('maoyan.woff', 'wb') as f:
for chunk in response.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)
woff2otf.convert('maoyan.woff', 'maoyan.otf')
这里是下载字体文件,requests里的stream是用来分段下载,默认是False,改成True之后几乎是分段下载.
4.解析字体
def parse_ziti():
baseFont = TTFont('base.otf')
maoyanFont = TTFont('maoyan.otf')
baseNumberList = ['.', '3', '5', '1', '2', '7', '0', '6', '9', '8', '4']
baseUnicode = ['x', 'uniE64B', 'uniE183', 'uniED06', 'uniE1AC', 'uniEA2D', 'uniEBF8',
'uniE831', 'uniF654', 'uniF25B', 'uniE3EB']
maoyanNumberList = []
maoyanUnicode = maoyanFont.getGlyphOrder()
for i in range(1, 12):
maoyanGlyph = maoyanFont['glyf'][maoyanUnicode[i]]
for j in range(11):
baseGlyph = baseFont['glyf'][baseUnicode[j]]
if maoyanGlyph == baseGlyph:
maoyanNumberList.append(baseNumberList[j])
break
maoyanUnicode[1] = 'uni0078'
utf8List = [eval("u'\\u" + uni[3:] + "'").encode('utf-8') for uni in maoyanUnicode[1:]]
return (utf8List, maoyanUnicode, maoyanNumberList)
如上所说,解析字体对比字体符号图形得出对应的数字
5.解析要爬的数据
def parse_page(html):
doc = pq(html)
data = {}
if doc:
items = doc('.content .aside .ranking-box-wrapper .panel .ranking-wrapper li')
for k,item in enumerate(items.items()):
if k == 0:
data['name'] = item.find('.ranking-top-moive-name').text()
else:
data['name'] = item.find('.ranking-movie-name').text()
data['score'] = item.find('.stonefont').text()
yield data
得到今日票房信息.我这里使用今日票房信息做实例.
6.schedule
html = get_page()
down_ziti(html)
utf8List, maoyanUnicode, maoyanNumberList = parse_ziti()
maoyanUnicode = [item.encode('utf-8') for item in maoyanUnicode]
maoyanNumberList = [item.encode('utf-8') for item in maoyanNumberList]
items = parse_page(html)
for item in items:
item['score'] = item['score'].encode('utf-8')
for k in range(len(utf8List)):
item['score'] = item['score'].replace(utf8List[k], maoyanNumberList[k])
print(item['name'], item['score'].decode() + '万')
7.结果
三.总结
在程序里面我是将字体转化为utf-8编码然后在用replace()得到对应数字的.其实之间也有操作过不转化为utf-8,直接用unicode编码.然后有个问题是unicode在python里面显示的是一堆堆框框,转化失败.发现根本没法.然后就只能老老实实的按大神的思路照着转化成utf-8.
在这里提一下,字体编码方式一定要统一,毕竟计算机不知道一和1是不是一样的.所以得编码统一,等以后研究透了为什么要转换成utf-8.我再来补充.