爬虫案例—表情党图片data-src抓取

爬虫案例—表情党图片data-src抓取

表情党网址：https://qq.yh31.com

抓取心情板块的图片data-src

由于此页面采用的是懒加载技术，为了节省网络带宽和减轻服务器压力。不浏览的图片，页面不加载，统一显示LOADING…。如下图：

按F12（谷歌浏览器）通过分析，表情图片的真正链接为data-src

通过分析，在搜索框里输入如下的xpath路径，匹配到页面中所有的data-src，如下图：

抓取data-src的源代码如下：

import requests
from lxml import etree

headers= {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

url = 'https://qq.yh31.com/xq/wq/'

res = requests.get(url, headers=headers)
res.encoding = res.apparent_encoding
data = res.text

tree = etree.HTML(data)

data_src_lst = tree.xpath('//div[@class="sr"]//dt/a/img/@data-src')
print(data_src_lst)

结果如下图：