scrapy 自学入门demo分享

目录
  • 安装
    • 安装python
    • 安装scrapy
  • 创建项目
    • 配置settings.py文件
    • 编写items.py文件
    • 编写spider
    • 执行

本文基于python 3.7.0,win10平台; 2018-08

完整项目代码:https://github.com/NameHewei/python-scrapy

安装

安装python

  1. 官网下载 https://www.python.org/
  2. 注意环境变量是否配置成功

安装scrapy

为了安装顺利,请备好梯子

  • pip install Scrapy

安装过程中注意以下报错信息:

Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"

解决办法:

  1. https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载对应版本twisted的whl文件
  2. cp:表示python版本
  3. amd64:表示64位
  4. 下载后在文件目录下执行: pip install Twisted-18.7.0-cp37-cp37m-win_amd64.whl(文件名)

创建项目

  • 创建scrapy:scrapy startproject youName
  • 创建spider:scrapy genspider // 在项目跟目录执行

配置settings.py文件

  1. 如果抓取的内容包含中文可配置:FEED_EXPORT_ENCODING = 'utf-8'
  2. 报错误信息403:把USER_AGENT加上(可在网站请求头信息中查看)

编写items.py文件

import scrapy

class NovelItem(scrapy.Item):
    title = scrapy.Field()
    content = scrapy.Field()

这些即你需要保存的字段名

编写spider

import scrapy

# 引入自定义的items
from myTest.items import NovelItem

# # 继承scrapy.Spider
class NovelSpider(scrapy.Spider):
    # 爬虫名
    name = 'novel_spider'
    # 允许的域名
    allowed_domains = ['http://www.danmeila.com']
    # 入口url 扔到调度器里面去
    start_urls = ['http://www.danmeila.com/chapter/20180406/29649.html']


    def parse(self, response):
        movieList = response.xpath('//*[@id="container"]/div[3]/div[2]/div[2]/div/div/ul/li')
        novelContent = NovelItem()
        for item in movieList:
            u = 'http://www.danmeila.com' + item.xpath('.//a/@href').extract_first()
            
            yield scrapy.Request(u, callback= self.content_a, meta= { 'nc': novelContent }, dont_filter = True)
            # 放到管道里否则 pipeline获取不到
            # 如果你发现拿到的内容一直为空,注意是否被过滤了,即dont_filter没有设置


    def content_a(self, response):
        novelContent = response.meta['nc']
        novelContent['title'] = response.xpath('//*[@id="J_article"]/div[1]/h1/text()').extract_first()

        yield novelContent

注意以下几点:

  • 采用xpath编写,在浏览器中可以直接查看元素,找到要爬取内容的标签,右键选copy xpath
  • extract_first()的使用;text() 获取文本;@属性名 获取属性值
  • 在父节点下使用xpath路径前要加./
  • 去除换行空格用 xpath('normalize-space('.//div/text()')')

执行

导出为json: scrapy crawl your-spider-name -o test.json

如果出现报错信息:

  • async语法错误,把用到该名称作为参数的文件全部作修改 把这个参数名改为其它即可
  • 报错 No module named 'win32api': 到https://pypi.org/project/pypiwin32/#files(下载文件pypiwin32-223-py3-none-any.whl 执行 pip install pypiwin32-223-py3-none-any.whl )

若有疑问或错误,请留言,谢谢!Github blog issues

你可能感兴趣的:(scrapy 自学入门demo分享)