面向对象多线程selnium报错: selenium.common.exceptions.InvalidArgumentException: Message: invalid argument

问题

在写多线程爬虫的时候用了selnium+redis的方式,从redis里抽出url后,在driver.get(url)一步时报错:elenium.common.exceptions.InvalidArgumentException: Message: invalid argument
在这里插入图片描述

解决

从redis里直接导出的url是bytes类型的,需要加一步转换

url = str(url, "utf-8")

整体代码逻辑如下:

def search(driver):
    url = b'http://s.weibo.com/'
    url = str(url, "utf-8")
    driver.get(url)

class WeiboSearchCrawler(Thread):
    driver = webdriver.Chrome()
    driver.maximize_window()

    def run(self):
        search(self.driver)

if __name__ == '__main__':
    a = WeiboSearchCrawler()
    a.start()

你可能感兴趣的:(python,Debug,爬虫)