欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信“学习资料”可以领取教程
写在前面
网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
优先申明：我们使用的python编译环境为PyCharm
正文
一、首先一个网络爬虫的组成结构：
爬虫调度程序（程序的入口，用于启动整个程序）
url管理器（用于管理未爬取得url及已经爬取过的url）
网页下载器（用于下载网页内容用于分析）
网页解析器（用于解析下载的网页，获取新的url和所需内容）
网页输出器（用于把获取到的内容以文件的形式输出）
二、编写网络爬虫
（1）准备所需库
我们需要准备一款名为BeautifulSoup（网页解析）的开源库，用于对下载的网页进行解析，我们是用的是PyCharm编译环境所以可以直接下载该开源库。
步骤如下：
选择File->Settings
打开Project:PythonProject下的Project interpreter
点击加号添加新的库
输入bs4选择bs4点击Install Packge进行下载
（2）编写爬虫调度程序
这里的bike_spider是项目名称引入的四个类分别对应下面的四段代码url管理器，url下载器，url解析器，url输出器。
# 爬虫调度程序
from bike_spider import url_manager, html_downloader, html_parser, html_outputer
# 爬虫初始化
class SpiderMain(object):
def __init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.outputer = html_outputer.HtmlOutputer()
def craw(self, my_root_url):
count = 1
self.urls.add_new_url(my_root_url)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print("craw %d : %s" % (count, new_url))
# 下载网页
html_cont = self.downloader.download(new_url)
# 解析网页
new_urls, new_data = self.parser.parse(new_url, html_cont)
self.urls.add_new_urls(new_urls)
# 网页输出器收集数据
self.outputer.collect_data(new_data)
if count == 10:
break
count += 1
except:
print("craw failed")
self.outputer.output_html()
if __name__ == "__main__":
root_url = "http://baike.baidu.com/item/Python/407313"
obj_spider = SpiderMain()
obj_spider.craw(root_url)
(3)编写url管理器
我们把已经爬取过的url和未爬取的url分开存放以便我们不会重复爬取某些已经爬取过的网页。
# url管理器
class UrlManager(object):
def __init__(self):
self.new_urls = set()
self.old_urls = set()
def add_new_url(self, url):
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def add_new_urls(self, urls):
if urls is None or len(urls) == 0:
return
for url in urls:
self.new_urls.add(url)
def get_new_url(self):
# pop方法会帮我们获取一个url并且移除它
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
def has_new_url(self):
return len(self.new_urls) != 0
（4）编写网页下载器
通过网络请求来下载页面
# 网页下载器
import urllib.request
class HtmlDownloader(object):
def download(self, url):
if url is None:
return None
response = urllib.request.urlopen(url)
# code不为200则请求失败
if response.getcode() != 200:
return None
return response.read()
（5）编写网页解析器
对网页进行解析时我们需要知道我们要查询的内容都有哪些特征，我们可以打开一个网页点击右键审查元素来了解我们所查内容的共同之处。
# 网页解析器
import re
from bs4 import BeautifulSoup
from urllib.parse import urljoin
class HtmlParser(object):
def parse(self, page_url, html_cont):
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont, "html.parser", from_encoding="utf-8")
new_urls = self._get_new_urls(page_url, soup)
new_data = self._get_new_data(page_url, soup)
return new_urls, new_data
def _get_new_data(self, page_url, soup):
res_data = {"url": page_url}
# 获取标题
title_node = soup.find("dd", class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data["title"] = title_node.get_text()
summary_node = soup.find("div", class_="lemma-summary")
res_data["summary"] = summary_node.get_text()
return res_data
def _get_new_urls(self, page_url, soup):
new_urls = set()
# 查找出所有符合下列条件的url
links = soup.find_all("a", href=re.compile(r"/item/"))
for link in links:
new_url = link['href']
# 获取到的url不完整，学要拼接
new_full_url = urljoin(page_url, new_url)
new_urls.add(new_full_url)
return new_urls
（6）编写网页输出器
输出的格式有很多种，我们选择以html的形式输出，这样我们可以的到一个html页面。
最后！只要你转发文章+私信小编（学习）即可免费获得一套python爬虫全套资料以及2020年最新的Python学习七大阶段路线和400集python学习教程！
阶段一：Python基础知识和高级特性
1、Python语法基础
2、Python字符串解析
3、Python时间和日历
4、Python文件操作
5、Python面向对象
6、并发编程
7、函数式编程
8、正则表达式
9、设计模式
10、排序算法
11、异常
12、模块
阶段二：Linux基础
1、shell操作
2、系统管理
3、常用Linux命令
4、常见Linux系统
5、HDFS搭建
阶段三：数据库原理和sql优化
1、Linux下MySQL数据库
2、数据库设计和SQL标准
3、Python数据库操作的库
4、Linux下MongoDB非关系型数据库
5、SQL优化和数据库优化
6、ORM对象关系映射基本思想
阶段四：前端web开发
1、Html
2、CSS
3、PC端页面开发实战流程
4、Bootstrap
5、html5和css3
6、JQuery
阶段五：Python Web后端开发
1、Django 框架开发
2、Nginx配置和uWSGI部署
3、RESTful接口开发
4、Flask框架开发
5、电商平台项目
6、BBS论坛系统
阶段六：爬虫和数据分析
1、第一个Python网络爬虫
2、专业HTTP分析工具Fiddler的使用
3、实际爬虫Python编码问题
4、urllib2 的使用TesseractOCR语言模型爬取使用带验证码登录的网站
5、Beautiful Soup
6、XPath & CSS选择器
7、PhantomJS
8、SeleniumWebdriver
9、Scrapy大型框架使用代理服务器爬取
10、Scrapy分布式集群多代理爬虫Redis
11、分布式集群Redis MongoDB在爬虫里的应用
12、数据分析工具与模块
阶段七：Python人工智能
1、机器学习
3、深度学习
获取方式：请大家转发本文+关注并私信小编：“学习”，即可获取。