新手爬虫出现报错“ no such element: Unable to locate element”

新手爬虫出现报错“ no such element: Unable to locate element”

简介

来自一个自学爬虫的Python小白的经历：通过网络上的教学视频，模仿编程。由于视频资源比较老旧，技术更新较快，所以有些方面难以做到用视频教学代码成功运行。此篇只记录产生的问题，包括已经解决和未解决的。再次申明，只是小白，只是简单的记录问题。

案例：斗鱼直播板块主播页面照片地址，所属标签，热度值，以及主播名字

初始代码如下:

from selenium import webdriver
import time

class DouyuSpider:
    def __init__(self):
        self.start_url = "https://www.douyu.com/directory/all"
        self.driver = webdriver.Chrome()

    def get_content_list(self):
        # 分组
        li_list = self.driver.find_elements_by_xpath("//ul[@class='layout-Cover-list']/li")
        print(li_list)
        content_list = list()
        for li in li_list:
            item = {
     }

            item["room_img"] = li.find_element_by_xpath(".//div[@class='LazyLoad is-visible DyImg DyListCover-pic']/img").get_attribute("src")
            # print("+"*50)
            item["room_title"] = li.find_element_by_xpath(".//div[@class='DyListCover-userName']")
            # print("+"*50)
            item["room_cate"] = li.find_element_by_xpath(".//div[@class='DyListCover-info']/span").text
            item["author_name"] = li.find_element_by_xpath(".//div[@class='DyListCover-info']/h3").text
            content_list.append(item)
            print(item)
        # 获取下一页
        next_url = self.driver.find_elements_by_xpath("//span[@class='dy-Pagination-item-custom']")
        next_url = next_url[0] if len(next_url)>0 else None
        return content_list,next_url

    def save_content_list(self,content_list):
        # 略过
        pass

    def run(self):
        # 1.获取start_url
        # 2.发送请求，获取相应
        self.driver.get(self.start_url)
        # 3.提取数据，获取下一页的url
        content_list, next_url = self.get_content_list()
        # 4.保存数据
        self.save_content_list(content_list)
        # 5.点击下一页，循环
        while next_url is not None:
            next_url.click()
            content_list, next_url = self.get_content_list()
            self.save_content_list(content_list)

if __name__ == "__main__":
    douyuspider =   DouyuSpider()
    douyuspider.run()

运行结果如下:

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {
     "method":"xpath","selector":"./div/a/div[1]/div[1]/img"}
  (Session info: chrome=88.0.4324.190)

根据百度得知，需要设定等待时间。虽然在seleinum中会有设置等待时间的方法，具体不详。经试验可使用time模块的sleep方法，time.sleep（5），五秒左右测试即可。修改部分的代码如下：

    def run(self):
        # 1.获取start_url
        # 2.发送请求，获取相应
        self.driver.get(self.start_url)

        time.sleep(5)
        # 3.提取数据，获取下一页的url
        content_list, next_url = self.get_content_list()
        # 4.保存数据
        self.save_content_list(content_list)
        # 5.点击下一页，循环
        while next_url is not None:
            next_url.click()
            time.sleep(5)
            content_list, next_url = self.get_content_list()
            self.save_content_list(content_list)

通过sleep方法经测试可以解决此问题。
之后运行代码，出现此问题

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {
     "method":"xpath","selector":".//div[@class='LazyLoad is-visible DyImg DyListCover-pic']/img"}
  (Session info: chrome=88.0.4324.190)

修改部分代码如下：

item["room_img"] = li.find_element_by_xpath("./div/a/div[1]/div[1]/img").get_attribute("src")

具体错误：会在正常执行中报错。错误问题是指：找不到对应的element对应的xpath为.//div[@class='LazyLoad is-visible DyImg DyListCover-pic']/img。
解决方法： 注：此方法自我寻找，xpath之间的差异不详，欢迎大佬指教
在浏览器中复制对应的xpath，可在xpath helper中实验提取对应的部分。例如上述对应的xpath为./div/a/div[1]/div[1]/img经过测验可以解决这个问题。

• 最后，再次声明来自一个Python小白的自学过程中出现的问题，及时交流与解决，如有不对地方，欢迎指教，不喜勿喷。