2020-09-09

爬虫的5个步骤

1、需求分析(不需要写成程序,是人处理的)

2、寻找网址(不需要写成程序,是人处理的)

3、下载网站返回内容(通过程序实现,程序包requests)

4、通过返回的信息找到需要爬取的数据内容(通过程序实现,正则表达式re,xpath对应的程序包lxml)

5、存储找到的数据内容(通过程序实现程序包mysql)需要学习python连接mysql

SCRAPY

你可能感兴趣的:(2020-09-09)