什么是网络爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本（——百度百科）。
所以，网络爬虫是一段具有以下功能的程序：
1、能够根据规则自动搜索获得网址；
1、能够访问指定网址的网络资源并下载；
2、能够对下载的资源进行解析，抓取指定信息。
什么时候用爬虫
假如我们要对比京东和淘宝的物价。对比一个商品很简单，我们分分钟就可以完成一个商品的对比，但是京东和淘宝上的商品有多少？如果我想得到所有同类商品的比价，人工一个个对比显然是不现实的，这时候我们就可以使用爬虫来帮我们做这个工作。对比一个物价我们要做两步：1、访问商品页面；2、对比商品价格。这正是爬虫的两个功能，访问商品页面和抓取商品类别与价格数据。而要访问所有商品则是网络爬虫的另一个功能——自动搜索网址。
所以我们在以下情况中使用网络爬虫：
1、需要获得大量相互关联的网络资源中的指定数据；
2、要访问的数据是爬虫使用者可以通过合法渠道访问到的。
Python3实现最简单的爬虫
废话不多说直接上干货，我们先实现一个最简单的爬虫，只具有下载指定URL网页功能的小爬虫，我们在之后一点点完善它。
准备工作
在此我们假设您已经做好以下准备：
1、安装了Python3并且有一定的Python基础（能读懂代码就行）
2、安装了pip
3、具有网络
代码
#/usr/lib/python3
from urllib import request
def download(url):
resp = request.urlopen(url)
result = resp.read()
result = result.decode("utf-8")
return result
print(download("http://www.jd.com"))
你木有看错，就是这么简单……是不是很惊喜，仿佛写了个helloworld。接下来让我们来聊一聊这段简短的代码。
要引入的库
编写网络爬虫我们要使用到urllib包，我们可以通过这个网址获得urllib库的介绍【https://docs.python.org/3/library/urllib.html#module-urllib】，中文版在这里【http://python.usyiyi.cn/translate/python_352/library/urllib.html#module-urllib】，这是一个用于URL处理的包。其中包含的request模块定义了打开URL的函数和类。这个包是Python3 自带的，无需下载。
代码解释
好吧，没什么好解释的，我们写了一个download方法，当传入一个正确的URL的时候返回下载下来的资源内容。特别要注意的是，要记得将编码转换成UTF-8
完善
就像上面说的我们的这个方法是没有容错能力的，我们需要做一些改善，使得输入错误的URL的时候程序依然能够运行，并且给出一些友好的提示。
#/usr/lib/python3
from urllib import request
from urllib import error
def download(url):
print('正在下载：',url)
try:
resp = request.urlopen(url)
result = resp.read()
result = result.decode("utf-8")
except error.URLError as e:
print('下载出现错误 : ', e)
result = None
return result
print(download("http://www.jd.com"))
print(download("http://www.j.com"))
如此当输入一个错误的URL的时候就返回None并且给出提示。
好啦，最简单的爬虫就是这样，之后我们一点点地完善它。
～～～预知后事如何，且听下集分解～～～
下集预告
这一段小小的代码还是有逻辑上的问题的，下集修改！