python scrapy爬取快递单号信息 用的模拟登入--

项目地址:https://gitee.com/zhangjianyu/scrapy_grabs_express_data/tree/master

1, 创建项目

python scrapy爬取快递单号信息 用的模拟登入--_第1张图片

scrapy  startproject kuaididanhao

2. 创建爬虫

首先进入创建项目的跟目录

python scrapy爬取快递单号信息 用的模拟登入--_第2张图片

创建完成后查看下文件目录

python scrapy爬取快递单号信息 用的模拟登入--_第3张图片

如图就代表创建成功了

对爬虫进行代码编写 在spiders/kuaidi.py 

python scrapy爬取快递单号信息 用的模拟登入--_第4张图片

然后到 settings.py 进行配置

python scrapy爬取快递单号信息 用的模拟登入--_第5张图片

分析下要爬的页面

python scrapy爬取快递单号信息 用的模拟登入--_第6张图片
python scrapy爬取快递单号信息 用的模拟登入--_第7张图片

然后到middlewares.py 进行配置

python scrapy爬取快递单号信息 用的模拟登入--_第8张图片
python scrapy爬取快递单号信息 用的模拟登入--_第9张图片
python scrapy爬取快递单号信息 用的模拟登入--_第10张图片
效果图


python scrapy爬取快递单号信息 用的模拟登入--_第11张图片

你可能感兴趣的:(python scrapy爬取快递单号信息 用的模拟登入--)