python爬虫中的三种常见解析网页数据的方式

今天对解析网页数据最为常见三种方式进行介绍：分别是Beautiful、正则表达式和xpath。其中xpath最为常用，也最为方便

1  BeautifulSoup

基本知识点：

bs4进行数据解析

    -数据解析的原理：

        1.标签定位

        2.提取标签，标签属性中存储的数据值

    -bs4数据解析的原理：

        1.实例化一个BeautifulSoup对象，并将页面源码数据加载在该对象中

        2.通过调用BeautifulSoup对象中相关属性或者方法进行标签定位和数据提取

    -环境安装：

        pip install bs4

    - 如何实例化BeautifulSoup对象：

        - from bs4 import BeautifulSoup

        - 对象的实例化：

            - 1. 将本地的html文档中的数据加载到该对象中

            - 2. 将互联网获取的页面源码加载到该对象中

     - 提供的用于数据解析的方法与属性：

            - soup.tagName：返回的是文档中第一次出现的tagName对应的标签（tagName为网页中的标签名）

            - soup.find('tagName') 返回的也是文档中第一次出现的tagName对应的标签

                注：find('tagName')中可以包含多个tagName参数，使得能被准确定位到

           - soup.find_all('tagName') 返回的是文档中所有tagName部分（注：中间同样可以包含多个tagName）

            - soup.select('某种选择器(id,class,标签...选择器)'),返回的是一个列表

            -层级选择器：

                 > 表示的是一个层级

                 空格表示的是多个层级

        - 获取标签之间的文本数据：

            -soup.a.text/string/get_text()

            -text/get_text() 可以获取一个标签中所有的文本内容

            -string 只可以获得该标签下直系的文本内容

        - 获取标签中的属性值：

            -soup.a['href']

爬取任务：诗词名句网中的《三国演义》全文

网页显示如下：

代码示例：

from bs4 import BeautifulSoupimport requestsif __name__ == '__main__':   # 解析网页所有内容    url = "http://www.shicimingju.com/book/sanguoyanyi.html"    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '                      'Chrome/75.0.3770.100 Safari/537.36 '    }    page_text = requests.get(url=url,headers=headers).text   # 解析网页上需要的东西（即章节详情页链接和章节标题）    soup = BeautifulSoup(page_text,'lxml')    li_list = soup.select('.book-mulu > ul > li')    fp = open('./三国演义.txt', 'w', encoding='utf-8')    for li in li_list:        # mile = []        title = li.a.string        href = li.a['href']        page_text2 = requests.get(url="http://www.shicimingju.com"+href, headers=headers).text        # print(page_text2)        soup2 = BeautifulSoup(page_text2, 'lxml')        p_list = soup2.find('div',class_="chapter_content")        content = p_list.text        #print(content)        fp.write(title+":"+content+'\n')        print(title,"爬取成功")

结果显示：

2 正则表达式

基本知识点

• 字符
• [ab5@]
  匹配"a"或"b"或"5"或"@"
• [^abc]
  匹配a、b、c之外的任意字符
• [f-k]
  匹配“f"到"k"之间的字符
• [^A-F0-3]
  匹配“A"-"F","0"-"3"之外的任意一个字符
• \d
  任意一个数字，0~9
• \w
  任意一个字母、数字、汉字或下划线，A~Z、a~z、0~9、_和任意一个汉字
• \s
  任意空白符，包括空格、制表符、换行符
• .
  小数点可以匹配任意一个字符，换行除外（如果要匹配包括"\n"在内的所有字符，一般用[\s\S]）
• 普通字符：字母、数字、汉字、下划线，匹配与之相同的一个字符
• 简单转义字符：\n（换行）,\t（制表）,\\（\本身）和 \^...（\^等有特殊作用的符号如要匹配自己的话要用转义）
• 标准字符集合
  注意区分大小写，大写是相反的意思，匹配相反是不匹配
• 自定义字符集合
  [ ]方括号匹配方式，能够匹配方括号中的任意一个字符,^表示取反
• 量词(Quantifier) 
  修饰前面的一个表达式，如果要修饰多个表达式，就用( )把表达式包起来
• 贪婪模式 （默认）
  匹配符合的最长的字符串
• 非贪婪模式 （在量词后面加 ? 例：{m,n}? )
  匹配符合的最短的字符串
• {n}
  表达式重复n次
• {m,n}
  表达式至少重复m次，最多重复n次
• {m,}
  表达式至少重复m次
• ？匹配表达式0或1次，相当于{0,1}
• +表达式至少出现一次，相当于{1,}
• *表达式不出现或出现任意次，相当于{0,}

爬取任务：糗图百科中的“热图”

网页显示如下：

代码示例：

import requestsimport reimport osif __name__ == '__main__':    # 创建文件夹，用于存放所有图片    if not os.path.exists('./qiutu'):        os.mkdir('./qiutu')    baseurl = "https://www.qiushibaike.com/imgrank/page/"    headers = {        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '                      'Chrome/75.0.3770.100 Safari/537.36 '    }    want_img = int(input("你想获得几页图片："))    if 13>= want_img > 0:        for i in range(1,want_img+1):            url = baseurl+str(i)            # 获取单张网页            response = requests.get(url=url,headers=headers)            page_text = response.text
            # 定位解析专门的链接位置            findimg = re.compile(r'
.*?', re.S)            img = re.findall(findimg,page_text)  # 注意findall 的前面为re正则，后面为范围            for j in img:                scr="https:"+j  #真正的图片链接                img_data = requests.get(url=scr,headers=headers).content  # 生成图片                # 生成图片名称                img_name = scr.split('/')[-1]  # 以图片链接最后的部分作为名字                # 图片存储的路径                img_path = './qiutu/'+img_name                with open(img_path,'wb')  as fp:                    fp.write(img_data)                    print(img_name,"下载成功")        print("一共有%d张"%(len(img)*want_img))    else:        print('对不起，铁汁，没这么多页图')

结果显示：

3 xpath

基本知识点：

xpath解析：最常用也是最便捷高效的一种解析方式，具有通用性。

    -xpath解析原理：

        -1.实例化一个etree的对象，且将需要被解析的页面源码数据加载到该对象中

        -2.调用etree对象中的xpath方法，结合着xpath表达式实现标签的定位以及内容的捕获。

    - 环境的安装：

        - pip install lxml

    - 如何实例化一个etree对象

        -1.将本地的html文档中的源码数据加载到该对象中

            etree.parse(filePath)

        -2.可以将从互联网上获取的源码数据加载到该对象中

            etree.HTML('page_text')

        - xpath('xpath表达式')

    -xpath表达式

        - .: 选取当前节点

        - /：表示的是一个层级，从根节点开始定位

        - //:表示的是多个层级。可以表示从任意位置开始定位

        - 属性定位：//tag[@属性='']

        - 索引定位：//tag[@属性='']/p[3]  索引是从1开始的

        - 取文本：

            - /text() 获取的是标签中直系的文本内容

            - //text() 获取的是标签中非直系的文本内容（标签中所有的文本内容）

        - 取属性：

            - /@attrName  ==>img/src

xpath方式爬取将在接下来的爬取案例中呈现

- END -

李

读书、观影

分享生活的碎片

          有理想的人不会伤心