一. Python爬虫简单框架

1.参考视频为：https://www.imooc.com/learn/563

2.简单爬虫结构的五个部分：

• 爬虫主程序
• URL管理器
• HTML下载器
• HTML解析器
• HTML输出器

3.下面以360百科为例，实际操作一下：

• 新建5个文件：

- main_spider.py
- url_manager.py
- html_downloader.py
- html_parser.py
- html_outputer.py

• 首先是main_spider.py：

# -*- coding: utf-8 -*-

import html_downloader
import html_outputer
import html_parser
import url_manager

'''
MainSpider的执行思路：
1)实例化各个模块
2)把start_url添加到URL管理器
3)进入while循环，判断URL管理器是否有新的URL
    ①如果有:
      a.从URL管理器中取出一个新的URL
      b.开始下载URL对应的页面
      c.对页面进行解析：得到新的URLs和数据
      d.把新的URLs添加到URL管理器中
      e.把新的数据收集到URL输出器中
    ②若无：pass
4)已解析的数据放入html_outputer处理
5)（可选）添加辅助count，用于记录爬虫执行的次数，控制爬取网页数量。
6)（可选）处理异常：try...except...语句
'''


# step2:建立爬虫的主类
class Mainspider(object):

    #实例化各个模块
    def __init__(self):
        self.manager = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()

    def crawl(self, start_url):
        count = 1
        self.manager.add_new_url(start_url)   #把start_url添加到URL管理器
        while self.manager.has_new_url():     #进入while循环，判断URL管理器是否有新的URL
            try:
                # 从URL管理器中取出一个新的URL
                new_url = self.manager.get_new_url()
                print('Crawl{}:{}'.format(count,new_url))     #辅助输出
                # 开始下载URL对应的页面
                html_text = self.downloader.download(new_url)
                # 对页面进行解析：得到新的URLs和数据
                new_urls,new_data = self.parser.parse(new_url,html_text)
                # 把新的URLs添加到URL管理器中
                self.manager.add_new_urls(new_urls)
                # 把新的数据收集到URL输出器中
                self.outputer.collect_data(new_data)

                if count == 100:   ##控制爬取网页数量
                    break

                count += 1  #计数器加一

            except:
                print('Crawl Failed!')

        # 已解析的数据放入html_outputer处理，本例输出为html文件。
        self.outputer.output_html()


# step1:爬虫总调度程序
if __name__ == "__main__":
    start_url = "http://book.dangdang.com/"  #爬虫开始的url
    mspider = Mainspider()
    mspider.crawl(start_url)

• 接下来分别实现各个模块的代码，url_manager.py：

# -*- coding: utf-8 -*-

'''
初始化两个集合，用于存放：未爬取的URL和已爬取的URL。
集合(set)的特点是元素不重复，可以用于过滤重复的URL。
'''

# URL管理器
class UrlManager(object):

    def __init__(self):
        self.uncrawl_urls = set()  #用于存放待抓取的url
        self.crawled_urls = set()  #用于存放已抓取的url

    # 添加新url到待爬取url_list中
    def add_new_url(self, url):
        if url is None:
            return
        # 如果抓取的url不在上述两个集合中，可认为是新的url。
        if url not in self.uncrawl_urls and url not in self.crawled_urls:
            self.uncrawl_urls.add(url)

    # 添加urls到待爬取url_list中
    def add_new_urls(self, urls):
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.uncrawl_urls.add(url)

    # 判断待爬取url_list中是否有数据
    def has_new_url(self):
        if len(self.uncrawl_urls) != 0:
            return True
        else:
            return False

    # 从url_list中取出url数据
    def get_new_url(self):
        url = self.uncrawl_urls.pop()  #pop的作用是从uncrawl_urls中取出url
        self.crawled_urls.add(url)     #将取出的url放入crawled_urls
        return url

html_downloader.py

# -*- coding: utf-8 -*-
import requests
import time

# 开始下载URL对应的页面
class HtmlDownloader(object):

    def download(self, new_url):
        hds = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
        r = requests.get(new_url,headers = hds)

        if r.status_code != 200:  #用于判断请求是否成功。
            return None

        r.encoding = "utf-8"  #（可选）直接设定编码方式，出现乱码时使用
        time.sleep(1)         # 设置睡眠时间，给服务器减负。

        return r.text

html_parser.py

# -*- coding: utf-8 -*-
from lxml import etree
import re

class HtmlParser(object):

    def parse(self, url, html_text):
        selector = etree.HTML(html_text)
        new_urls = self._get_new_urls(html_text)
        new_data = self._get_new_data(url,selector)
        return new_urls,new_data

    def _get_new_urls(self,html_text):
        new_urls = set()
        # 格式为：/doc/5925549-6138471.html
        links = re.findall("\/doc\/\d+-\d+\.html",html_text)   #使用正则抓取url
        for link in links:
            url = "https://baike.so.com" + link
            new_urls.add(url)
        return new_urls

    def _get_new_data(self,new_url,selector):
        new_data = {}
        new_data['url'] = new_url
        try:
            new_data['title'] = selector.xpath('///span[@class="title"]/text()')[0]
            new_data['summary'] = selector.xpath('//div[@class="card_content"]/p[1]')[0].xpath('string(.)').strip()
        except:
            new_data['title'] = ""
            new_data['summary'] = ""
        return new_data

html_outputer.py

# -*- coding: utf-8 -*-

class HtmlOutputer(object):

    datas = []

    def collect_data(self, new_data):
        if new_data is None:
            return
        self.datas.append(new_data)

    def output_html(self):
        # 方式一：直接打印
        # for data in self.datas:
        #     print(data['title'],data['summary'])

        # 方式二：输出html
        with open('output.html','w',encoding='UTF-8') as f:
            f.write('')
            f.write('')
            f.write('')
            f.write('')
            f.write('')
            f.write('')
            f.write('')
            for data in self.datas:
                f.write('')
                f.write('' % data['url'])
                f.write('' % data['title'])
                f.write('' % data['summary'])
                f.write('')
            f.write('
%s
%s
%s
')
            f.write('')
            f.write('')

结果：

打印结果

Html输出

关于python3编码问题，可以留意以下帖子：
https://foofish.net/how-python3-handle-charset-encoding.html