Python基于Scrapy框架下的爬虫使用方法

前面的一些Scrapy的基础就不介绍了，感兴趣的话可以查一下运行的结构。

做爬虫的简单4步

1、新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
2、明确目标 （编写items .py）：明确你想要抓取的目标
3、制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
4、存储内容 （pipelines .py）：设计管道存储爬取内容

安装方法 #打开运行->输入cmd->复制粘贴以下内容

Windows安装方式

#升级 pip 版本：
pip install --upgrade pip 
#通过 pip 安装 Scrapy 框架:
pip install Scrapy

Ubuntu 安装方式

#安装非 Python的依赖:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
通过 pip 安装 Scrapy 框架：
sudo pip install scrapy

Mac OS 安装方式

$ sudo pip install virtualenv
$ virtualenv scrapyenv
$ cd scrapyenv
$ source bin/activate
$ pip install Scrapy

安装结束后，在cmd中输入scrapy，如果正常就可以继续进行。
如果使用PyCharm，可以在软件中自己找scrapy，也可以不通过pip进行下载。

一、新建项目(scrapy startproject)
在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：

scrapy startproject mySpider #相当于建立了一个mySpider的文件夹，里边有需要的py文件

其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下：

mySpider/ #不介绍每一个文件的具体作用
    scrapy.cfg
    mySpider/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

二、明确目标(mySpider/items.py)
我们打算抓取 http://www.itcast.cn/channel/teacher.shtml 网站里的所有讲师的姓名、职称和个人信息。
打开 mySpider 目录下的 items.py。
接下来，创建一个 ItcastItem 类，和构建 item 模型（model）。

import scrapy
#以下类中的name、title、info是我们准备爬取的信息，对于不同网站可以增加或减少变量
class ItcastItem(scrapy.Item):
   name = scrapy.Field()
   title = scrapy.Field()
   info = scrapy.Field()

三、制作爬虫 （spiders/itcastSpider.py）
爬虫主要分为两步

1. 爬数据
   在当前目录下输入命令，将在mySpider/spiders目录下创建一个名为itcast的爬虫，并指定爬取域的范围：

scrapy genspider itcast "itcast.cn

打开 mySpider/spiders目录里的 itcast.py，默认增加了下列代码:

import scrapy
class ItcastSpider(scrapy.Spider):
    name = "itcast" 
    allowed_domains = ["itcast.cn"] 
    start_urls = ( 'http://www.itcast.cn/', ) 
    def parse(self, response):
        pass

其实也可以由我们自行创建itcast.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦
要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性和一个方法。
1、name = “” ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
2、allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
3、start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
4、parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求。

将start_urls的值修改为需要爬取的第一个url

start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)

修改parse()方法

def parse(self, response):
    filename = "teacher.html"
    open(filename, 'w').write(response.body) 

然后运行一下看看，在mySpider目录下执行：

scrapy crawl itcast

这个地方每一次传回来的html文件都是空的，最后找了找把open函数中的"w"改成"wr"即可解决问题

是的，就是 itcast，看上面代码，它是 ItcastSpider 类的 name 属性，也就是使用 scrapy genspider命令的唯一爬虫名。

运行之后，如果打印的日志出现 [scrapy] INFO: Spider closed (finished)，代表执行完成。 之后当前文件夹中就出现了一个 teacher.html 文件，里面就是我们刚刚要爬取的网页的全部源代码信息。

注意: Python2.x默认编码环境是ASCII，当和取回的数据编码格式不一致时，可能会造成乱码；我们可以指定保存内容的编码格式，一般情况下，我们可以在代码最上方添加

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

这三行代码是 Python2.x 里解决中文编码的万能钥匙，大家使用Python3。

2. 取数据 #取数据确实需要一些前端基础，有些照葫芦画瓢还是不可以的
   不要忘记F12
   爬取整个网页完毕，接下来的就是的取过程了，首先观察页面源码：

<div class="li_txt">
    <h3>  xxx  h3>
    <h4> xxxxx h4>
    <p> xxxxxxxx p>

xpath 方法，我们只需要输入的 xpath 规则就可以定位到相应 html 标签节点，详细内容可以查看 xpath 教程。
不会 xpath 语法没关系，Chrome 给我们提供了一键获取 xpath 地址的方法（右键->检查->copy->copy xpath）
谷歌浏览器现在点击需要的信息右键，检查就可以直接跳转。

这里给出一些 XPath 表达式的例子及对应的含义:

• /html/head/title: 选择HTML文档中 标签内的 元素
• /html/head/title/text(): 选择上面提到的 元素的文字
• //td: 选择所有的 元素
• //div[@class=“mine”]: 选择所有具有 class=“mine” 属性的 div 元素

我们之前在 mySpider/items.py 里定义了一个 ItcastItem 类。 这里引入进来:
这个地方总是引不进去的话可以尝试复制items文件，找到Python的文件夹->Lib->site-packages
拷贝进去

from mySpider.items import ItcastItem

然后将我们得到的数据封装到一个 ItcastItem 对象中，可以保存每个老师的属性：

import scrapy
# item文件的类
from itcast.items import ItcastItem
 
class ItspidSpider(scrapy.Spider):
    # 爬虫名，启动爬虫是需要的参数*必须
    name = 'itcast'
    # 爬取域范围，循序爬虫再这个域名下进行爬取（可选）
    allowed_domains = ['itcast.cn'] 
    # 起始url,爬虫执行后第一批请求，将从这个列表里获取
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
 
    def parse(self, response):
        node_list = response.xpath("//div[@class='li_txt']") 
        # 用来存储所有的item字段的
        items = []
        for node in node_list:
            # 创建item字段对象，用来存储信息
            item = ItcastItem()
            # .extract()将xpath对象转化成Unicode字符串
            name = node.xpath("./h3/text()").extract()
            title = node.xpath("./h4/text()").extract()
            info = node.xpath("./p/text()").extract()
  
            item['name'] = name[0]
            item['title'] = title[0]
            item['info'] = info[0]

            items.append(item) 
        return items

最后还需要在setting文件里边设置一些东西：（不遵守爬虫协议）

ROBOTSTXT_OBEY = False

保存数据
scrapy保存信息的最简单的方法主要有四种，-o 输出指定格式的文件，命令如下：

json lines格式，默认为Unicode编码
scrapy crawl itcast -o teachers.jsonl

csv 逗号表达式，可用Excel打开
scrapy crawl itcast -o teachers.csv

xml格式
scrapy crawl itcast -o teachers.xml

这个地方我通过的是csv格式打开，但是显示乱码，解决方法：
在setting.py文件中加入以下语句即可：

FEED_EXPORT_ENCODING = 'utf-8-sig' 

最后的成果就是这个样子，因为网站的格式原因，我在csv中重新设置了一下，基本是这样：

希望这篇博客对刚开始学习scrapy爬虫的朋友有所帮助，把自己在爬虫时候遇到的有关问题给总结了一下，第一次写，请多多包涵！
相关作者链接：
https://segmentfault.com/a/1190000013178839#articleHeader8
https://blog.csdn.net/weixin_40569991/article/details/81296908
https://www.runoob.com/w3cnote/scrapy-detail.html