【第二周】BeautifulSoup库入门——python爬虫慕课笔记

第四单元 BeautifulSoup库入门

基本使用

优秀的第三方库，用它来解析html信息

基本元素

prettify方法：为标签和内容增加换行符，方便print出来阅读

html格式和内容遍历方法

树型结构


这些方法返回的是一个列表，可以用列表的方式对信息进行检索


第二个是descendants,PPT应该是写错了

总结：

后面的是迭代类型，只能用在for in结构中

第五单元 信息组织与提取方法

信息标记的三种形式

信息标记的三种形式：XML,JSON,YAML

键值对


用缩进表示所属关系

例子：

json实用于程序直接访问接口并进行处理

信息提取的一般方法

基于bs4库的html内容查找方法

对以上代码说明：

• 若name是True将显示soup中所有标签信息
• 使用正则表达式re打印出b开头的标签
• 显示p标签中含course字符串内容的信息
• 返回属性于中id等于link1的标签元素

第六单元 大学排名实例

import bs4
import requests
import re
from bs4 import BeautifulSoup
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def fillUnivList(ulist,html):#提取关键数据，核心部分
    soup =  BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:#tr是一所大学所包含的信息
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')#把所有的td标签存为tds列表类型
            ulist.append(【tds[0】.string,tds[1].string,tds[3].string])#加上字

    pass
def printUnivList(ulist,num):
    print("{:^10}\t{:^6}\t{:^15}".format("排名","学校名称","总分"))
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^15}".format(u[0],u[1],u[2]))
    print("Suc"+str(num))
def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)#20 univers
main()