Python爬虫实战项目1 | 基础爬虫的实现（爬取100条百度百科词条）
【基础爬虫篇】
本篇讲解一个比较简单的Python爬虫。
这个爬虫虽然简单，但五脏俱全，大爬虫有的模块这个基础爬虫都有，只不过大爬虫做的更全面、多样。
1.实现的功能：这个爬虫实现的功能为爬取百度百科中的词条信息。爬取的结果见6。
2.背景知识：(1).Python语法；(2).BeautifulSoup；(3).HTML知识；
Python基础语法学习可参看：推荐《Python编程——从入门到实践》，或者廖雪峰Python博客。
BeautifulSoup主要语法可参看：BeautifulSoup主要知识点
3.基础爬虫框架及运行流程：
基础爬虫包括五个模块，分别是爬虫调度器，URL管理器,HTML下载器，HTML解析器，数据存储器。
功能分析如下：
(1).爬虫调度器主要负责统筹其他四个模块的协调工作；
(2).URL管理器负责管理URL链接，维护已经爬取的URL集合和未爬取的URL集合，提供获取新URL链接的接口；
(3).HTML下载器用于从URL管理器中获取未爬取的URL链接并下载HTML网页；
(4).HTML解析器用于从HTML下载器中获取已经下载的HTML网页，并从中解析出新的URL链接交给URL管理器，解析出有效数据交给数据存储器。
(5).数据存储器用于将HTML解析器解析出来的数据通过文件或者数据库的形式解析出来。
文件组织目录：
其中__init__.py的内容为空，它的作用简单说就是让这个包变成一个模块，身份发生了变化。
1.URL管理器
链接去重复在Python爬虫开发中是必备的技能，解决方案主要有三种：1).内存去重；2).关系数据库去重;3).缓存数据库去重;在这个基础爬虫中，我使用了Python中的set这种内存去重方式，因为数据量比较少。
# url管理器
class UrlManager(object):
def __init__(self):
self.new_urls = set()
self.old_urls = set()
def has_new_url(self):
'''
判断是否有未爬取的URL
:return:
'''
return self.new_url_size() != 0
def get_new_url(self):
'''
获取一个未爬取的URL
:return:
'''
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
def add_new_url(self, url):
'''
将新的URL添加到未爬取的URL集合中
:param url: 单个url
:return:
'''
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def add_new_urls(self, urls):
'''
将新的URL添加到未爬取的URL集合中
:param urls: urls:url集合
:return:
'''
if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url)
def new_url_size(self):
'''
获取未爬取的URL集合的大小
:return:
'''
return len(self.new_urls)
def old_url_size(self):
'''
获取已经爬取的URL集合的大小
:return:
'''
return len(self.old_urls)2.HTML下载器
HTML下载器用来下载网页，这时候需要注意网页的编码，以保证下载的网页没有乱码，下载器用了Requests模块，这个模块比urllib强大很多。
import requests
import chardet
class HtmlDownloader(object):
def download(self, url):
if url is None:
return None
user_agent = 'Mozilla/4.0 (compatible); MSIE 5.5; Windows NT'
headers = {'User-Agent': user_agent}
response = requests.get(url, headers=headers)
if response.status_code == 200:
response.encoding = chardet.detect(response.content)['encoding']
return response.text
else:
print('网页打开失败！')
return None
3.HTML解析器
HTML解析器使用BeautifulSoup进行HTML解析。需要解析的部分主要分为提取相关词条页面的URL和提取当前词条的标题和摘要信息。
# coding:utf-8
import re
from bs4 import BeautifulSoup
class HtmlParser(object):
def parser(self, page_url, html_cont):
'''
用于解析网页内容，抽取URL和数据
:param page_url: 下载页面中的URL
:param html_cont: 下载的网页内容
:return: 返回URL和数据
'''
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
new_urls = self.__get_new_urls(page_url, soup)
new_data = self.__get_new_data(page_url, soup)
# print(new_urls, new_data)
return new_urls, new_data
def __get_new_urls(self, page_url, soup):
'''
抽取新的url集合
:param page_url:下载页面的url
:param soup: soup
:return: 返回新的url集合
'''
new_urls = set()
# print('new_urls:', new_urls)
# 抽取符合要求的a标记
links = soup.find_all('a', href=re.compile(r'/item/[0-9a-zA-Z%]'))
print(links)
for link in links:
# 提取href属性
new_url = link.get('href')
# print('new_url:', new_url)
# 拼接成完整网址
new_full_url = 'http://baike.baidu.com' + new_url
# print('new_full_url', new_full_url)
new_urls.add(new_full_url)
# print('new_urls:', new_urls)
return new_urls
def __get_new_data(self, page_url, soup):
'''
抽取有效数据
:param page_url: 下载页面的URL
:param soup: soup
:return: 返回有效数据
'''
data = {}
data['url'] = page_url
title = soup.find(name='dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
# print(title.text)
data['title'] = title.text
summary = soup.find(name='div', class_='lemma-summary')
# print(summary.text)
data['summary'] = summary.text
return data4.数据存储器
数据存储器主要包括两个方法：store_data(data)用于将解析出来的数据存储到内存中，output_html()用于将存储的数据输出为指定的文件格式(自己定义)。
import codecs
class DataOutput(object):
def __init__(self):
self.datas = []
def store_data(self, data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout = codecs.open('baike.html', 'a', encoding='utf-8')
fout.write('')
fout.write('')
fout.write('')
fout.write('')
for data in self.datas:
fout.write('')
fout.write('%s '%data['url'])
fout.write('%s '%data['title'])
fout.write('%s '%data['summary'])
fout.write(' ')
self.datas.remove(data)
fout.write('
')
fout.write('')
fout.write('')
fout.close()5.爬虫调度器
爬虫调度器用来协调管理这些模块。
# encoding:utf-8
from The_Basic_Spider.DataOutput import DataOutput
from The_Basic_Spider.HtmlDownloader import HtmlDownloader
from The_Basic_Spider.HtmlParser import HtmlParser
from The_Basic_Spider.URLManager import UrlManager
class SpiderMan(object):
def __init__(self):
self.manager = UrlManager()
self.downloader = HtmlDownloader()
self.parser = HtmlParser()
self.output = DataOutput()
def crawl(self, root_url):
# 添加入口URL
self.manager.add_new_url(root_url)
# 判断url管理器中是否有新的url,同时判断抓取了多少个url
while(self.manager.has_new_url() and self.manager.old_url_size() < 100):
try:
# 从URL管理器中获取新的url
new_url = self.manager.get_new_url()
print(new_url)
# HTML下载器下载网页
html = self.downloader.download(new_url)
# HTML解析器抽取网页数据
new_urls, data = self.parser.parser(new_url, html)
print(new_urls, data)
# 将抽取的url添加到URL管理器中
self.manager.add_new_urls(new_urls)
# 数据存储器存储文件
self.output.store_data(data)
print('已经抓取了%s个链接' % self.manager.old_url_size())
except Exception:
print('crawl failed')
# 数据存储器将文件输出成指定格式
self.output.output_html()
if __name__ == '__main__':
spider_man = SpiderMan()
spider_man.crawl('http://baike.baidu.com/view/284853.htm')然后就可以爬取100条百度百科词条啦～爬去的信息将保存在baike.html里。
6.爬取结果（baike.html）
当然，你也可以试着爬取自己想爬取的网络数据哦～
如果有帮助，点个喜欢吧～