【python爬虫】centos8中使用selenium获取网页的信息为空的解决办法

问题

在做python爬虫的时候,需要请求一个缺少证书网站,然后很奇怪,返回的driver.page_source只是一个架子,没有内容,如下

<html><titile></titile><body></body></html>

解决办法

加入以下代码

from selenium.webdriver import DesiredCapabilities

capabilities = DesiredCapabilities.CHROME.copy()
capabilities['acceptSslCerts'] = True
capabilities['acceptInsecureCerts'] = True

#在driver中加入desired_capabilities参数
driver = webdriver.Chrome(options=chrome_options,desired_capabilities=capabilities)

然后再driver.get("*****")就正常显示了

注:
options我是这样设置的


from selenium.webdriver.chrome.options import Options  # 导入浏览器内核设置,主要是为了设置无头(headless)模式
chrome_options = Options()    
chrome_options.add_argument('--headless')  # 设置Chrome为无头模式    
chrome_options.add_argument("no-sandbox")
chrome_options.add_argument("disable-dev-shm-usage")

参考大佬的博客:
https://blog.csdn.net/qq_42612995/article/details/81951128

你可能感兴趣的:(配置)