xpath获取标签的属性值_爬虫学习之xpath

前面学习了使用requests获取页面源码，今天一起学习如何解析源码？

xpath表达式：

是最常用最便捷高效的一种解析方式且，通用性强。

解析原理： 1、实例化一个etree对象，且需要将被解析的页面源码数据加载到该etree对象中。 2、调用etree对象中的xpath方法，结合xpath表达式实现标签定位和内容获取。

环境安装： pip install lxml

实例化etree对象： from lxml import etree

1、将本地html文档加载： etree.parse(filePath) 2、将互联网获取的源码加载 etree.HTML('page_text') 3、xpath表达式

/：表示从根节点开始定位。表示一个层级。//:表示多个层级。可以表示从任意位置开始定位。属性定位：//div[@class='song']     tag[@attrName='atttrValue']索引定位：//div[@class='song']/p[3]    索引从1开始取文本：      /text()：获取的是标签中直系的文本内容     //text()：获取的非直系的文本内容(所有的文本内容)取属性：     /@attrName     ==>img/src​

程序源码(爬取指定页面，解析其中的LI列表，并保存为TXT文本文件)：

import requestsfrom lxml import etree​headers = {         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',     }if __name__ == "__main__":    # 获取页面源码     url = 'https://weixin.qq.com/'     page_text = requests.get(url=url, headers=headers).text​     # 数据解析     tree = etree.HTML(page_text)     li_list = tree.xpath('/html/body/div/div/div[2]/div[3]/ul/li')        #将li对象列表赋值给li_list变量     print(li_list)​     fp = open('test.txt', 'w', encoding='utf-8')    # 循环遍历列表对象     for li in li_list:         title = li.xpath('./a/text()')[0]      # /text()：获取的是标签中直系的文本内容         print(title)         fp.write(title+'')   #写入文本文件，并添加换行符