phantomjs


PhantomJS无界面浏览器


selenium+phantoms 是爬虫的终极解决方案
一些数据包含在js里面,就可以通过这个来爬取

配置环境变量,见此博客
https://blog.csdn.net/qq_42543312/article/details/81569125

from selenium  import webdriver
import time
path = r'D:\爬虫\PhantomJS\phantomjs-2.1.1-windows\bin\phantomjs.exe'
browser = webdriver.PhantomJS(path)

#打开百度
url = "https://www.baidu.com/"
browser.get(url)
time.sleep(3)
browser.quit()

phantomjs_第1张图片
原来是这行 webdriver.PhantomJS(path)写错了
改完后发现
在这里插入图片描述

好,查阅资料发现改程序的文件名,发现没卵用。继续,因为Selenium
Python的版本太低了,因为直到selenium版本到2.27.0的时候才提供对PhantomJS的支持。而我电脑上安装的selenium版本是2.7.0
哥们真的是操了,18年12月selenium以及不在支持phantomjs了!!!要想用phantomjs,只能下载老版本的selenium了,可是这样岂不是和webdriver冲突了?然后查阅百度发现,目前基本不用phantomjs了,都是用Chrome无头浏览器!

chrome 无界面浏览器

我们在前面的学习中会发现,PhantomJS已经不被新版本的Selenium弃用了,同时我们前面一直使用的是有界面的浏览器,但是它运行的时候,很影响我们去干其它事情,不用怕,其实chrome和火狐都提供的有无界模式。只需要传入一些参数即可
先简单了解一下

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置chrome的参数
options = Options()
options.add_argument('--headless')
# options.add_argument('--disable-gpu')

# 获取一个浏览器对象
br = webdriver.Chrome(chrome_options=options)

你可能感兴趣的:(python)