Python爬虫入门案例6:scrapy的基本语法+使用scrapy进行网站数据爬取

几天前在本地终端使用pip下载scrapy遇到了很多麻烦,总是报错,花了很长时间都没有解决,最后发现pycharm里面自带终端!(狂喜),于是直接在pycharm终端里面写scrapy了

这样的好处就是每次不用切换路径了,pycharm会直接把路径定位到项目包的路径下,非常方便。

而且下载scrapy可以直接在一个文件里面写import scrapy,然后install scrapy包就可以了,很快就下完了。

这时候我们就可以直接进行scrapy程序的创建了。

基本语法:

(1)创建scrapy爬虫项目

        scrapy startproject 项目名

(2)创建爬虫文件

        scrapy genspider 爬虫文件名 爬取的网页

(3)运行爬虫代码

        scrapy crawl 爬虫的名字

这里的爬虫主代码,需要在spiders文件中写

下面举个例子,使用scrapy来爬取汽车之家的汽车型号,与其对应的价格

import scrapy


class CarsSpider(scrapy.Spider):
    name = "cars"
    allowed_domains = ["https://car.autohome.com.cn/price/brand-15.html"]
    start_urls = ["https://car.autohome.com.cn/price/brand-15.html"]

    def parse(self, response):
        print("-------------")
        name_list=response.xpath("//div[@class='main-title']/a/text()")
        price_list=response.xpath("//div[@class='main-lever']//span/span/text()")
        for i in range(len(name_list)):
            name=name_list[i].extract()
            price=price_list[i].extract()
            print("-------------")
            print(name,price)

爬取结果:Python爬虫入门案例6:scrapy的基本语法+使用scrapy进行网站数据爬取_第1张图片

 

你可能感兴趣的:(Python爬虫,python,爬虫,scrapy)