Python3爬虫编程学习笔记（五）实战：爬取安居客房屋信息之 XPath学习
笔记目录
- 一、XPath基本语法
- 1、XPath语法辅助工具
- 2、XPath语法简介
- 3、XPath语法使用方式：
- 二、XPath语法运用实例
- 1、解析源代码：
- 2、实战作业：爬取安居客房屋信息
- 3.实战作业代码
- lxml库之XPath语法
爬取到网页源代码，并不是目的，爬虫的最终目的是采集到我们想要的数据，那么就必须进行数据提取。一般来说是利用Python自带的正则表达式re模块进行提取，无奈我只学到了表皮，为了不影响兴趣，学习路径定为lxml库的XPath语法–>BeautifulSoupy库–>正则表达式。
一、XPath基本语法
百度百科：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。
XPath语法可用来在XML和HTML文档中对标签元素和属性进行遍历。所以在做爬虫时，完全可以使用XPath 来进行相应的信息提取。
在Python中使用XPath语法需要安装lxml库：
pip install lxml
1、XPath语法辅助工具
| 浏览器 | 辅助工具 |
|---|---|
| Chrome浏览器 | XPath Helper插件（扩展程序） |
| FireFox浏览器 | try XPath插件 |
2、XPath语法简介
- 选取节点：
| 符号 | 说明 |
|---|---|
| nodename | 选取名称为nodname节点的所有子节点，如：head、body、div |
| / | 如果是在最前面，代表从根节点选取，否则选择某节点下的某个节点，如：/html/body |
| // | 从全局节点中选择节点（子孙节点），随便在哪个位置，如：//head//script 或 //div |
| @ | 选取拥有@example的所有节点的属性，如：//div@id，div中必须要有id属性 |
| . | 表示当前节点，“./”代表是当前节点的子节点 |
.. |
表示当前节点的父节点，“../a”代表a是孙节点 |
- 谓语：
| 示例 | 说明 |
|---|---|
| /body/div[1] | 下标获取第一个div节点，下标是从1开始不是从0开始 |
| /body/div[last()] | 获取最后一个元素 |
| /body/div[position()<5] | 获取前4个元素 |
| //div/[@id] | 选取所有拥有id属性的div元素 |
| //book[@id=10] | 取所有属性id=10的book元素 |
| //div[contains(@class,‘f1’)] | div下包含多个class的情况下，使用模糊匹配 |
| a/text() | 提取a节点下面的文本内容 |
- 多节点选取：
| 示例 | 说明 |
|---|---|
| //body/ | 获取所有节点 |
| div@ | 获取所有拥有属性的div元素 |
-
选取多个路径：
-
| 如：
//div[@class="job_bt"]|//div[@class="job_detail"]
- 运算符：
- 老师说用得多的主要是 “= < > != or and”，如:
//div[@class='abc' and id!='kkk']
3、XPath语法使用方式：
- 使用//获取整个页面当中的元素，然后写标签名，再写谓语进行提取：
divs=html.xpath('//div[@class="abc"]')
- 使用XPath需要注意的知识点：
1）/和//的区别：/代表只获取直接子节点，//获取子孙节点，一般情况下，//用得比较多。
2）contains：有时候某个属性中包含了多个值，那么可以使用’contains()'函数：
divs=html.xpath('//div[contains(@class，"job_detail")]')
3）谓语中的下标是从1开始的，不是从0开始的，列表、集合的下标才是从0开始的。
4）使用"xpath"语法，应该使用"Element.xpath()"方法来执行，返回永远是一个列表：
trs=html.xpath('//tr[position()>1]') # 获取除第1个tr外的所有tr标签
# 获取当前元素下某个标签的属性
href = html.xpath('.//a/@href')[0]
# 从列表中获取文本，使用text()方法
address = tr.xpath('./td[4]/text()')[0]
# 在某个标签下，再执行xpath函数，获取这个标签下的子孙元
# 素，应该在斜杠之前加一个点"."，代表在当前元素下获取
# 可以用strip()方法去掉字符串的空白符
address = tr.xpath('./td[4]/text()')[0].strip()
二、XPath语法运用实例
1、解析源代码：
1）使用"lxml.etree.HTML()"进行html字符串源代码解析：
text = '...' # 字符串网页源代码
html=etree.HTML(text) # 返回_Element对象
# 解码转换成字符串，tostring()会补齐缺失的节点
print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
2）解析html文件：使用"lxml.etree.parse()"进行解析：
html=etree.parse('test.html') # 读取本地保存的文件解析
print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
- 该方法默认使用“lxml”解析器，需要xml代码规范，否则会报错，需要手动指定解析器HTMLParser：
parser=etree.HTMLParser(encoding='utf-8') # 先创建一个parser解析器
html=etree.parse('test.html',parser=parser) # 再调用parser()方法解析，读取文件、传入parser解析器
print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
2、实战作业：爬取安居客房屋信息
听完老师讲完爬取豆瓣正在上映电影的例子，正好同事想在南宁买一套二手房，于是动了把安居客南宁二手房信息爬取下来的想法，适合练手。那么就先易后难，本次作业只获取第一页列表信息即可，下载图片、进入第二页作为下次练手用。
-
分析网页：
浏览器打开安居客，按F12选择Network，选择南宁区域，通过分析可知，该网站是静态网页，为GET请求，普通方法即可获取源代码； -
检索标签：
查看源代码可知，所有的房屋信息都是在ul标签下，每一个li标签就是一套房的信息； -
提取数据：
通过分析，我想取得的信息有这几项：房屋名称（标题）、详情链接（第二页单独取得链接供下次使用）、房屋简介、是否真实出售及担保情况、小区地址、销售总价、销售单价、图片链接。提取数据用刚学的XPath语法，可以轻松获得。50页后二手房信息基本过期，不再提取。 -
保存数据：
使用panda库，将提取的房屋信息保存到CSV文件中，或是使用内置open()方法直接写入文件：anjuke.csv。
3.实战作业代码
# -*- encoding: utf-8 -*-
"""
作业：爬取安居客房屋信息，房屋详情暂未爬取、图片未下载
"""
from lxml import etree
import requests
from fake_useragent import UserAgent
import pandas as pd
import time, random
def get_html(url):
'''获取网页源码'''
# 设置代理IP，因数据较多，设置代理安全些
proxy = {
'http://': '182.46.113.194:9999',
'https://': '112.85.150.220:9999',
'http://': '113.195.171.190:9999',
'http://': '112.85.150.220:9999'
}
uagent = UserAgent() # 设置请求头
headers = {'User-Agent': uagent.random}
# 发送请求
reponse = requests.get(url, headers=headers, proxies=random.choice(proxy))
html = reponse.text # 取得网页字符串信息
return html
def get_houseInfo(html):
'''获取房屋信息'''
lis = html.xpath('//ul[@id="houselist-mod-new"]/li') # 所有房屋信息都在li节点之下
for li in lis:
img = li.xpath('./div[1]/img/@src[1]')[0] # 获取图片链接
title = li.xpath('.//a/text()')[0].strip() # 获取房屋信息标题
href = li.xpath('.//a/@href')[0] # 获取房屋详情链接
style = li.xpath('.//i/text()') # 获取安选、担保信息
if len(style) > 2:
del style[0] # 如果有长度为3，第一个是空数据，删除
style[1] = style[1].strip() # 剔除空白、换行符
details = li.xpath('./div[2]/div[2]/span/text()') # 获取房屋简介
address = li.xpath('./div[2]/div[3]/span[1]/@title') # 获取小区名称、地址，有的房子未写
if len(address) > 0: # 删除 及分号
address = address[0].split('\xa0\xa0')
strong = li.xpath('./div[3]/span[1]/strong/text()')[0] # 获取房屋销售总价
price = li.xpath('./div[3]/span[2]/text()')[0] # 获取房屋销售单价
yield (title, href, details, style, address, strong, price, img)
def down_image(url):
'''下载图片'''
pass
def get_details(url):
'''获取房屋更详细信息'''
pass
def run():
'''主运行函数'''
print('数据采集中，请稍候......')
houses = [
'房屋名称',
'详情链接',
'房屋简介',
'真实情况',
'小区地址',
'销售总价',
'销售单价',
'图片链接'
]
for i in range(1, 51):
url = f'https://nanning.anjuke.com/sale/p{str(i)}/#filtersort'
html = etree.HTML(get_html(url)) # 调用请求函数
df = pd.DataFrame(get_houseInfo(html), columns=houses) # 提取房屋信息存入文件
df.to_csv(r'webscraping/data/anjuke_pd.csv', encoding='utf-8', mode='a', index=False)
time.sleep(random.randint(1, 8)) # 休息一会儿
print(f'已成功采集第{str(i)}页数据！')
print('恭喜，全部数据采集成功！')
if __name__ == "__main__":
run()
说明：本学习笔记根据晚上观看学习B站乐林贝斯发布的视频《Python爬虫】新手强烈推荐：Python爬虫教程，学爬虫这一套就够了》所作笔记，非常感谢老师！
- 爬虫学习笔记系列：
Python3爬虫编程学习笔记（一）缘由
Python3爬虫编程学习笔记（二）爬虫原理
Python3爬虫编程学习笔记（三）学习urllib库基本用法
Python3爬虫编程学习笔记（四）学习Requests第三方库基本用法