爬虫基础 --xpath和lxml(解析网页信息)

xpath

-可以提取xml和html网页中的数据的语言

xpath语法
xpath helper插件：帮助我们从”elements”中定位数据

1.选择节点(便签)
/html/head/meta ：能够选中html下head下所有的meta标签

2.// ：能够从任意节点开始选择
//li 表示当前所有页面中的标签
/html/head//link ：head下的所有link标签

3.@符号的用途
–选择具体某个元素
//ul[@class=”toolbar”]/li ：选择class=”toolbar”的ul下的li

–获取某一属性的值
a@/href:选择a的href的值

4.获取文本 text()
//div[@class=”w-header”]/span/text():获取span下的文本
5. ./xx当前节点下XX的标签

lxml

pip install lxml

基本用法：
from lxml import etree

element=etree.HTML(“html字符串或者xml文本”)—element对象
element.xpath()—可以使用xpath语法获取数据
”’

实例演示–糗事百科数据抓取

import requests
from lxml import etree
import json

#创建类
class QiubaiSpider():
    #定义构造器
    def __init__(self):
        self.url_temp="https://www.qiushibaike.com/8hr/page/{}/" #通过翻页观察规律
        self.headers={
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
        }

    #定义功能函数---得到url列表
        #利用列表推导式及format方法
        url_list =[self.url_temp.format(i) for i in range(1,14)]
        return url_list

    #定义功能函数---得到html字符串
    def get_html(self,url):
        print("正在对 %s 发出请求" % url)
        res=requests.get(url,headers=self.headers)
        return res.content.decode()

    #定义功能函数---解析html字符串
    def parse_html(self,html_str):
        #建立element对象
        html=etree.HTML(html_str)
        #分组---便于for遍历取值
        div_list=html.xpath("//div[@id='content-left']/div")
        content_list=[]
        for div in div_list:
            item = {}
            item["author_name"]=div.xpath(".//h2/text()")[0].strip() if len(div.xpath(".//h2/text()")) else None
            item["content"]=div.xpath(".//div[@class='content']/span/text()")
            item["content"]=[i.strip() for i in item["content"]]
            item["img"]=div.xpath(".//img[@class='illustration']/@src")
            #注意图片链接的完整性与三元运算符赋值操作
            item["img"]="https:"+ item["img"][0] if len(div.xpath(".//img[@class='illustration']/@src")) else None
            content_list.append(item)
        return content_list

    #定义功能函数---保存数据
    def save_content_list(self,content_list):
        with open("qiubai.txt","a",encoding="utf-8") as f:
            for content in content_list:
                #将python字典数据转为为json字符串
                f.write(json.dumps(content,ensure_ascii=False))
                f.write("\n")
            print("保存成功")

    #定义run方法---实现主要逻辑
    def run(self): 
        # 1.根据url地址规律构造url_list
        url_list=self.get_url_list()
        # 2.发送请求，获取响应
        for url in url_list:
            html_str=self.get_html(url)
        # 3.提取数据
        content_list=self.parse_html(html_str)
        # 4.保存
        self.save_content_list(content_list)

if __name__ == '__main__':
    qiubai=QiubaiSpider()
    qiubai.run()