scrapy爬取网页信息并清洗

如何用爬虫的scrapy框架轻松的爬取想要的网页信息并清洗，看完下面的方法，你也可以！废话不多说，跟着小编一起来。

1.创建一个scrapy工程
打开pycharm，点击左下角的Terminal，就会自动锁定在当前的路径。
输入scrapy startproject TestMyScrapy， 其中TestMyScrapy就是新建的工程名，直接运行。

scrapy startproject TestMyScrapy

2.创建你自己的爬虫文件
命令切换到你的新建工程根目录下：cd TeseMyScrapy
之后运行命令scrapy genspider New http://???.com

其中New随意命名，后面的http://???.com也由自己确定，只要后缀是.com就可以，直接运行。
如下图：

3.找到items.py文件
找到之后，在其内容中定义目标数据的字段，如图’title,t,text = scrapy.Fiele’，这里不细说。