基础爬虫框架

框架主要由5大模块构成，分别为爬虫调度器，URL管理器，HTML下载器，HTML解析器，数据储存器。

1. 爬虫调度器：负责统筹其它四个模块的协调工作。
2. URL管理器：维护已爬取的URL集合和未爬取的URL集合，提供获取新URL的链接接口。
3. HTML下载器：从URL管理器中获取未爬取的URL链接并下载HTML页面。
4. HTML解析器：从HTML下载器获取已经下载的HTML页面，解析出新的URL链接交给URL管理器，解析出有效数据交给数据储存器。
5. 数据储存期：把HTML解析器得到的数据通过文件或数据库的形式储存起来。

URL管理器

主要包括两个变量，一个是已爬取的URL集合， 另一个是未爬取的。用set类型来去重，防止链接重复爬取。大型成熟的爬虫基本上采用缓存数据库去重的方法，由于本次的爬虫爬取数量小，所以直接用Python中set内存去重的方法。

class UrlManager(object):
    
    #初始化属性
    def __init__(self):
        self.new_urls = set()    #未爬取的集合
        self.old_urls = set()    #已爬取的集合
    
    #判断是否还有未爬取的URL
    def has_new_url(self):
        return self.new_url_size() !=0    #返回一个Bool值
    
    #获取一个未爬取的URL，并将其加到已爬取的集合中去
    def get_new_url(self):
        new_url = self.new_urls.pop()    #pop的返回值就是被删除的目标
        self.old_urls.add(new_url)
        return new_url
    
    #增加一个URL链接到未爬取的集合中
    def add_new_url(self,url):
        if url:
            if url not in self.new_urls and url not in self.old_urls:
                self.new_urls.add(url)
    
    #增加一个URL集合到未爬取的集合中
    def add_new_urls(self,urls):
        if urls:
            for url in urls:
                self.add_new_url(url)
    
    #返回未爬取的URL数量
    def new_url_size(self):
        return len(self.new_urls)
    
    #返回已爬取的URL数量
    def old_url_size(self):
        return len(self.old_urls)

HTML下载器

HTML下载器用来下载网页，只需要实现一个接口口：download(url)，比较简单。

import requests

class HtmlDownloader(object):
    
    def download(self,url):
        try:
            kv = {'user-agent': 'Mozilla/5.0'}  
            r = requests.get(self.url, timeout=5, headers = kv)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text
        except:
            print('爬取失败')

HTML解析器

用于提取襄阳词条页面的URL和当前词条的标题和摘要信息。

from bs4 import BeautifulSoup


class HtmlParser(object):
    
    def parser(self,page_url,html_cont):
        '''
        用于解析网页内容，抽取URL和数据
        page_url:下载页面的URL
        htmL_cont:下载的网页内容
        '''
        if page_url is None or html_cont is None:
            return
        soup = BeautifulSoup(html_cont,'html.parser',from_enconding = 'utf-8')
        new_urls = self._get_new_urls(page_url,soup)
        new_data = self._get_new_data(page_url,soup)
        return new_urls,new_data
    
    def _get_new_urls(self,page_url,soup):
        '''
        抽取新的URL集合
        page_url:下载页面的URL
        soup:
        '''
        new_urls = set()
        #找到相关链接
        links = soup.find('div',class_="lemma-summary").find_all('a')
        for link in links:
            new_url = link['href']    #提取'href'属性
            new_full_url = page_url + new_url    #合成一个完成网址
            new_urls.add(new_full_url)
        return new_urls
    
    def _get_new_data(self,page_url,soup):
        data = {}
        data['url']=page_url
        title = soup.find('dd',class_='lemmaWgt-lemmaTitle-title').find('h1')
        data['title']=title.string
        summary = soup.find('div',class_='lemma-summary')
        data['summary']=summary.string
        
        return data
        

数据储存器

主要包括两个方法：一个用于将解析出来的数据储存到内中，一个用于将储存数据输出为指定的文件格式。