Python爬虫入门之架构模板

1.写在前面

  因工作要求初次接触python爬虫，网上找了一些模板，感觉这个博客挺不错的，简单易上手，想分享下。

  https://www.jianshu.com/p/92052813be82

2.基础爬虫的架构以及运行流程

从图中可看出整个基础爬虫架构分为5大类：爬虫调度器、URL管理器、HTML下载器、HTML解析器、数据存储器。下面为具体功能介绍：

1. 爬虫调度器：主要是配合调用其他四个模块，所谓调度就是取调用其他的模板。

2. URL管理器：就是负责管理URL链接的，URL链接分为已经爬取的和未爬取的，这就需要URL管理器来管理它们，同时它也为获取新URL链接提供接口。

3. HTML下载器：就是将要爬取的页面的HTML下载下来。

4. HTML解析器：就是将要爬取的数据从HTML源码中获取出来，同时也将新的URL链接发送给URL管理器以及将处理后的数据发送给数据存储器。

5.数据存储器：就是将HTML下载器发送过来的数据存储到本地。

3.实战爬取菜鸟笔记信息

下面演示一遍如何用爬虫架构来爬取菜鸟笔记信息

1.创建URL管理器

#URLManager

class URLManager(object):
    def __init__(self):
        #保存未爬取url
        self.new_urls = set()
        #保存已爬取url
        self.old_urls = set()

    def has_new_url(self):
        #判断是否有url需要爬取
        return self.new_url_size()!=0

    def get_new_url(self):
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

    def add_new_url(self,url):
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self,urls):
        if urls is None or len(urls)==0:
            return
        for url in urls:
            self.add_new_url(url)
    def new_url_size(self):
        #未爬取url的大小
        return len(self.new_urls)

    def old_url_size(self):
        #已爬取url的大小
        return len(self.old_urls)

这里主要是两个集合，一个是已爬取URL的集合，另一个是未爬取URL的集合。使用set类型是因为set自带去重的功能

2.HTML下载器

#HTMLDownload

import requests

class HTMLDownload(object):
    def download(self,url):
        if url is None:
            return
        s = requests.Session()
        s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'
        res = s.get(url)
        #判断是否正常获取
        if res.status_code == 200:
            res.encoding='utf-8'
            res = res.text
            return res
        return None

这里只是简单的获取了url中的html源码

3.HTML解析器

#HTMLParser

import re
from bs4 import BeautifulSoup

class HTMLParser(object):
    def parser(self,page_url,html_cont):
        if page_url is None or html_cont is None:
            return
        #解析网页并抽取url和网页内容
        soup = BeautifulSoup(html_cont,'html.parser')
        new_urls = self._get_new_urls(page_url,soup)
        new_data = self._get_new_data(page_url,soup)
        return new_urls, new_data
    def _get_new_urls(self,page_url,soup):
        new_urls = set()
        for link in range(1,10):
            new_url = "https://www.runoob.com/w3cnote/page/"+str(link)
            new_urls.add(new_url)
        return new_urls
    def _get_new_data(self,page_url,soup):
        data = {}
        data['url'] = page_url
        title = soup.find('div',class_='post-intro').find('h2')
        print(title)
        data['title'] = title.get_text()
        summary = soup.find('div',class_='post-intro').find('p')
        data['summary'] = summary.get_text()
        return data

这里将HTML下载器的源码进行分析和解析，从而得到了我们想要拿到的数据。可以去了解BeautifulSoup的使用

4.数据存储器

#DataOutput

import codecs

class DataOutput(object):
    def __init__(self):
        self.datas = []
    def store_data(self,data):
        if data is None:
            return
        self.datas.append(data)
    def output_html(self):
        fout = codecs.open('baike.html','a',encoding='utf-8')
        fout.write("")
        fout.write("")
        fout.write("")
        fout.write("")
        for data in self.datas:
            fout.write("")
            fout.write("" % data['url'])
            fout.write("" % data['url'])
            fout.write("" % data['summary'])
            fout.write("")
        self.datas.remove(data)
        fout.write("")
        fout.write("
%s
《%s》
[%s]
")
        fout.write("")
        fout.close()
        

这里为了演示，将数据存储到一个html的文件中

5.爬虫调度器

#爬虫调度器

import sys
from DataOutput import DataOutput
from HTMLParser import HTMLParser
from HTMLDownload import HTMLDownload
from URLManager import URLManager

class SpiderMan(object):
    def __init__(self):
        self.manager = URLManager()
        self.downloader = HTMLDownload()
        self.parser = HTMLParser()
        self.output = DataOutput()
    def crawl(self,root_url):
        #添加需解析的网页url
        self.manager.add_new_url(root_url)
        #判断url管理器是否有新url
        while(self.manager.has_new_url() and self.manager.old_url_size()<100):
            try:
                #从url管理器获取url
                new_url = self.manager.get_new_url()
                #html下载器下载网页
                html = self.downloader.download(new_url)
                #HTML解析器抽取网页中url及数据
                new_urls, data = self.parser.parser(new_url,html)
                #将抽取的url添加到管理器中
                self.manager.add_new_urls(new_urls)
                #数据存储器存储文件
                self.output.store_data(data)
                print("已经抓取%s个链接" % self.manager.old_url_size())
            except Exception as e:
                print("failed")
                print(e)
        #输出文件
        self.output.output_html()

if __name__ == '__main__':
    spider_man = SpiderMan()
    spider_man.crawl("https://www.runoob.com/w3cnote/page/1")
        

调度器将前面写的四个模板进行调用。

运行结果如图：

调用beautifulsoup库时，运行后提示错误： ImportError: No module named bs4 ， 意思是没有找到bs4模块，解决方法是将bs4安装上。可参考链接：rom bs4 import BeautifulSoup 引入需要安装的文件和步骤

利用python setup.py install语句安装模块时的“No module named setuptools“报错问题，可参考链接：解决python安装模块时的“No module named setuptools“报错问题

4.总结

无论是大型爬虫项目还是小型的爬虫项目都离不开这五个模板，以后写爬虫项目按照这种架构可使你的爬虫看起来更加的规范、健全。