mac 环境下 Scrapy 入门

---

安装

sudo pip install scrapy

python3环境配置

---

步骤

• 新建爬虫项目 （scrapy startproject name)
• 明确数据目标 （编写 items.py）
• 制作网页爬虫 （spiders/xxspider.py）
• 存储爬取内容 （pipelines.py）

---

新建爬虫项目 - scrapy startproject

终端进入项目目录

scrapy startproject spiderName
spiderName - 项目名称

系统创建一个 spiderName 文件夹，目录结构：

spiderName/
    scrapy.cfg                项目配置文件
    spiderName/               Python模块 - 从这里引用代码
        __init__.py
        items.py              目标文件
        pipelines.py
        settings.py           设置文件
        spiders/              存储爬虫代码目录
            __init__.py
            ...

---

明确数据目标 - disease/items.py

目标：抓取 http://yao.xywy.com/class/4-0-0-1-0-1.htm 网站里的药品的名称、生产公司和功能主治

打开 disease 目录下的 items.py

• Item 定义结构化数据字段，用来保存爬取到的数据
  scrapy.Item 创建一个类
  scrapy.Field 定义类型类属性

创建一个 MedicaldataItem 类，构建 item 模型

import scrapy

class MedicaldataItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()  # 药品名称
    company = scrapy.Field()  # 生产公司
    function = scrapy.Field()  # 功能主治
    

---

制作网页爬虫 - spiders/MedicaldataSpider.py

爬虫功能 : 爬 => 取

---

创建爬虫

创建一个名为Medicaldata的爬虫，并指定爬取域的范围：
cd disease

scrapy genspider Medicaldata "http://yao.xywy.com"

打开 disease/spider目录里的 Medicaldata.py，默认增加了下列代码:

import scrapy

class MedicaldataSpider(scrapy.Spider):
    name = 'Medicaldata'
    allowed_domains = ['yao.xywy.com']
    start_urls = ['http://yao.xywy.com']

    def parse(self, response):
        pass

用scrapy.Spider类创建一个子类来建立一个Spider，其下有三个强制的属性 和 一个方法。

• name = “”
  爬虫的唯一识别名称

• allow_domains = []
  搜索的域名范围
  规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。

• start_urls = ()
  爬取起始URL
  爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些元祖URL中继承性生成。

• parse(self, response)
  解析的方法
  URL传回Response对象作为唯一参数，用来

  1. 解析返回的网页数据(response.body)
  2. 提取结构化数据(生成item)
  3. 生成需要下一页的URL请求。
     
     

---

配置爬虫

将start_urls的值修改为需要爬取的第一个url

start_urls = ['http://yao.xywy.com/class/4-0-0-1-0-1.htm']

修改parse()方法

def parse(self, response):
    filename = "drug.html"
    open(filename, 'wb').write(response.body)

原文为 open(filename, ‘w’).write(response.body)
报错
TypeError: write() argument must be str, not bytes
python3 w为写字符，wb为二进制

参考：https://blog.csdn.net/kingyuan666/article/details/81214954

在disease目录下执行：
scrapy crawl Medicaldata

[scrapy] INFO: Spider closed (finished) 执行完成
drug.html 中为爬取网页的源代码

---

取数据

爬取整个网页完毕，接下来进行取数据

获取 xpath 地址
利用 Chrome
右键 => 检查 => copy => copy xpath

xpath:
/html/body/div[6]/div[2]/div[1]/a

XPath 表达式简例

/html/head/title: 选择HTML文档中  标签内的