第一个简单但完整的爬虫实例

从今天开始学爬虫，现在就来分享一个简单完整（具有启发意义）的实例吧。文章结构如下：

1. 爬虫问题描述
2. requests库的使用
3. beautifulsoup4库的使用
4. 爬取软科中国大学排名

---

1 爬虫问题概述

   爬虫即（常用Python）从各个网站/页提取用户感兴趣的各类数据，并做进一步的信息挖掘的程序。爬虫程序实现的步骤主要为：①通过网络链接获取网页内容；②对获取的网页内容进行处理，这俩步骤分别使用requests与beautifulsoup4类库。网络爬虫实则包括：“网络爬虫”与“信息提交”。此外，网站的 “Robots排除协议”可以拒绝爬虫访问。

2 requests库的使用

  requests是一个简洁且简单的处理HTTP请求的第三方库。

import requests
def getHtmlText(url):
    try:
        res=requests.get(url,timeout=15) #超时15秒(url必为：http/https)
        res.raise_for_status() #如果返回状态不是200，引发异常
        res.encoding="utf-8" #使之正常显示中文
        return res.text #返回网页内容的字符串形式(res.content()二进制形式)
    except: '''①ConnectionError异常：DNS查询失败、拒接连接；②HTTPError异常:无效的http响应；③Timeout异常：请求超时;④TooManyRedirects异常：请求超过了设定的最大重定向次数'''
        return ""

3 beautifulsoup4库的使用

  beautifulsoup4是一个解析、处理HTML、XML的第三方库。获取HTML页面内容后，需进一步解析页面格式，提取有用信息。bs4最大的优势是：能根据HTML和XML语法建立解析树，进而高效地解析其中的内容。
  bs4采用面向对象思想实现：每一个实例便是一个页面；HTML页面标签（Tag）成为bs4对象的属性（“.”访问）；每个Tag也是一个对象（“.”访问）。 层次为：【页面（soup）→Tag标签（head、title、a等）→标签属性（name、attrs、string、contents）→标签属性查找find_all()】

url="http://www.baidu.com"
soup=BeautifulSoup(getHtmlText(url)) #soup对象
print(soup.head) #
print(soup.title) #