selenium+xpath爬取二手房标题

贝壳找房标题爬取需要注意的是，在页面中间有一个小广告

而他就在ul的li下面，当我们进行title所以输出时，会报错。

所以在进行页面解析之前必须把广告叉掉，不然也把广告那一部分的li给爬取下来了

所以，我们，定位到上面箭头那里，进行 x掉，也就是利用click事件进行处理

然后第二个就是当进行下一页时，url会更换

所以当我们要第23456……页时，必须刷新新的url

（如果换页时，url没变的情况下，则只需元素定位到下一页的按钮进行click事件处理即可）。

要注意的就是以上那么多，代码如下

 

from selenium import webdriver
from lxml import etree
from selenium.webdriver.common.by import By
from time import sleep
from selenium.webdriver import ChromeOptions
cho=ChromeOptions()
cho.add_experimental_option('excludeSwitches',['enable-automation'])
#浏览器驱动
bro=webdriver.Chrome(options=cho)
sleep(1)
all_page=[]
for i in range(5):
    bro.get(f'https://bj.ke.com/ershoufang/pg{i+1}/')
    # 睡个两秒，防止页面没有加载完成
    sleep(2)
    #把广告去掉，因为广告是ul下的一个li。
    bro.find_element(By.CLASS_NAME,'daoliu_close').click()
    #点击后进行解析，并且放进列表里面
    all_page.append(bro.page_source)
    print(f'已经把第{i+1}页HTML内容放入列表中')
    print('--------------------------------------------------------------------------------------------------------------')

s=1
#页面列表循环遍历进行解析。
for page in all_page:
    tree=etree.HTML(page)
    #睡个两秒，防止页面没有加载完成
    sleep(2)
    li_list=tree.xpath('/html/body/div[1]/div[4]/div[1]/div[4]/ul/li')
    #再睡个两秒，防止页面没有加载完成
    sleep(2)
    print(f"正在爬取第{s}页内容****************************************************")
    sleep(1)
    #打印测试有没有空元素
    print(len(li_list))
    for dl in li_list:
      title=dl.xpath('./a/@title')[0]#@title只有一个所以【0】就行
      print(title)
    print(f'第{s}爬取完成*********************************************************')
    s=s+1
    sleep(1)
sleep(2)
bro.quit()