学习笔记(10):Python爬虫进阶：Scrapy框架教程-Scrapy框架的使用2

立即学习:https://edu.csdn.net/course/play/9882/209886?utm_source=blogtoedu

创建项目：

scrapy startproject demo

cd demo 

scrapy genspider name fang.5i5j.com

先运行检验一下以上步骤：

scrapy crawl fang 

获取标题信息hlist=response.css("div.houseList_list")

for vo in hlist:

    item = FangItem()

    item["title"]=vo.css("h3.fontS20 a::text").extract_first()

     item["address"]=vo.css("span.addressName::text").extract_first()

    item["time"]=vo.re("(.*?)开盘")[0]#获取的是列表取第一个值

    print(vo.css("h3.fontS20 a::text").extract_first())

    yield item

需要打开pipelines管道的注释

scrapy crawl fang -o fang.txt 另存为txt格式