python丨Scrapy框架案例一:手机APP抓包

以爬取斗鱼直播上的信息为例:

URL地址:http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=0

爬取字段:房间ID、房间名、图片链接、存储在本地的图片路径、昵称、在线人数、城市

1.items.py

python丨Scrapy框架案例一:手机APP抓包_第1张图片

 2.spiders/douyu.py

python丨Scrapy框架案例一:手机APP抓包_第2张图片

pipelines.py

python丨Scrapy框架案例一:手机APP抓包_第3张图片

你可能感兴趣的:(Python爬虫)