Scrapy的用法

1.第一步：创建爬虫项目

image.png

2.使用pycharm打开爬虫项目

image.png

打开结果如下(目录结构):

image.png

3.第三步：创建爬虫
说明：在ivskyspider文件中创建，所以需要先进入ivskyspider
说明:一个项目可以创建多个爬虫文件

image.png

4.第四步：打开新建的爬虫文件ivsky.py文件结构如下：

image.png

5.执行代码：
方法一：打开Teminal

image.png

方法二：在第一个IvskySpider的位置新建文件不想在终端运行程序时，先新建此文件，然后运行from scrapy import cmdlinecmdline.execute(['scrapy', 'crawl', 'ivsky'])爬取数据：scrapy的基本用法

image.png

1. 通过命令创建项目scrapy startproject 项目名称
2. 用pycharm打开项目
3. 通过命令创建爬虫scrapy genspider 爬虫名称 域名
4. 配置settingsrobots_obey=FalseDownload_delay=0.5Cookie_enable=False
5. 自定义UserAgentMiddleWare可以直接粘现成的或者自己通过研究源码实现
6. 开始解析数据1) 先大致规划一下需要几个函数2) 函数1跳转到函数2使用 yield scrapy.Request(url,callback,meta,dont_filter)7. 将数据封装到items,记得yield item8. 自定义pipelines将数据存储到数据库/文件中

---