[mooc]python网络爬虫与信息提取（实例一）

目标：定向爬取大学排名信息

技术路线：requests-bs4

结构设计：

1. 从网络上获取大学排名网页内容
2. 提取网页内容中信息到合适的数据结构
3. 利用数据结构展示并输出结果

具体实现(python3.6)

安装requests库

安装bs4库

import requests
from bs4 import BeautifulSoup
import bs4

获取url信息，输出URL内容

def getHTMLText(url):
    try:
       r=requests.get(url,timeout=30)
       r.raise_for_status()
       r.encoding=r.apparent_encoding
       return r.text
    except:
        return ""

将html页面放在一个list列表中

def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    #解析tbody的位置，并且遍历其孩子节点，每一个tr就是一所大学对应的信息
    for tr in soup.find('tbody').children:
        #过滤掉非标签类型的其他信息
        if isinstance(tr,bs4.element.Tag):
            #查询tr标签中的td标签，存在tds中
            tds=tr('td')
            #ulist中增加需要的对应字段，大学排名，大学名称，大学排分
            ulist.append([tds[0].string,tds[1].string,tds[2].string])

将列表中信息打印出来

def printUnivList(ulist,num):
    tplt="{0:^10}\t{1:{3}^10}\t{2:^10}"
    print("tplt".format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

主函数

def main():
#将大学信息放在一个列表中
    uinfo=[]
    url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)

main()