Chrome浏览器是支持远程调试模式的。这个模式打开的情况下,Puppeteer或者Selenium可以通过websocket连上去,进而控制它。
首先我们来启动Chrome的远程调试端口。你需要找到Chrome的安装位置,在Chrome的地址栏输入chrome://version就能找到Chrome的安装路径,如下图所示:
有了这个以后,我们需要执行命令启动支持远程调试功能的Chrome。如果你的电脑是Mac,那么命令是:
"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" --remote-debugging-port=9222 --no-first-run --no-default-browser-check --user-data-dir=$(mktemp -d -t 'chrome-remote_data_dir')
注意,由于地址中有空格,所以要把可执行文件的路径用引号抱起来。
如果你的电脑是Windows,那么就很简单了,执行命令:
# 使用当前浏览器
"C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222
# 创建一个全新配置的浏览器, 一个文件夹只会创建一次
"C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222 --user-data-dir="随便找个空文件夹路径"
mas启动以后如下图所示:
win启动以后会直接打开浏览器:
此时,你先不要动这个通过命令启动的Chrome。你先打开普通的浏览器,输入网址:http://127.0.0.1:9222/json/version,如下图所示:记住其中的webSocketDebuggerUrl后面的地址。这就是我们远程链接的地址。
今天我们以Puppeteer为例,介绍如何连接这个远程的Chrome。
在连之前,我们首先做一件事情,在通过命令启动的这个Chrome中,打开我们的登录练习页面,然后手动登录它。如下图所示:
const puppeteer = require('puppeteer-core')
async function run(){
var address = 'ws://127.0.0.1:9222/devtools/browser/f6ede2a1-cf7b-4a0d-b0ea-9c0cd24d240d'
const browser = await puppeteer.connect({
browserWSEndpoint: address,
});
const page = await browser.newPage();
response = await page.goto('http://exercise.kingname.info/exercise_login_success', { waitUntil: 'load', timeout: 0 });
}
run()
这段代码最核心的就两行,连接远程的Chrome:
var address = 'ws://127.0.0.1:9222/devtools/browser/f6ede2a1-cf7b-4a0d-b0ea-9c0cd24d240d'
const browser = await puppeteer.connect({
browserWSEndpoint: address,
});
import asyncio
import pyppeteer
async def run():
address = 'ws://127.0.0.1:9222/devtools/browser/2cbeac62-820f-4b14-aa0b-5b6695207b27'
browser = await pyppeteer.launcher.connect({'browserWSEndpoint': address})
page = await browser.newPage()
await page.setViewport({'width': 1920, 'height': 1080})
await page.goto('http://exercise.kingname.info/exercise_login_success', options={'timeout': 10000})
# print(await page.content())
# await browser.close()
if __name__ == '__main__':
asyncio.get_event_loop().run_until_complete(run())
可以看到,代码控制浏览器打开了一个新的标签页,并且立刻就能打开登录成功后的页面,不需要再次登录。
大家可以试一试,现在在终端窗口里面按下Ctrl + C把当前的爬虫代码强行关闭,然后再启动一次,你会发现依然是登录以后的页面。
这样一来,以后遇到需要登录的网站,只需要使用这个远程调试模式,先启动一个支持远程调试的Chrome浏览器,然后手动在浏览器上完成登录操作,接下来爬虫代码就再也不需要考虑登录这个动作了,爬虫可以直接访问登录后的页面。
你自己测试的过程中,可能会发现标签页越开越多。其实不用担心,这是因为我为了演示登录后的页面,没有关闭当前标签页导致的。你的爬虫执行完操作以后,可以使用await page.close()关闭当前标签页。只要至少保留一个标签页不关闭,那么这个浏览器窗口就可以一直使用。
如果本文的阅读量突破2000,我们就来讲讲用Selenium怎么调用远程调试功能的Chrome浏览器。
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
# 注意我把chromedriver文件放到了当前文件夹里面,所以可以这样调用
# 如果你是windows电脑,你需要使用./chromedriver.exe
driver = Chrome(options=chrome_options)
driver.get('http://exercise.kingname.info/exercise_login_success')
input('输入任意内容继续')
driver.get('https://www.kingname.info')
input('输入任意内容继续')
driver.get('http://exercise.kingname.info/exercise_login_success')
本文参考 未闻Code 大佬的文章, 推荐各位可以看看
登录练习: http://exercise.kingname.info/exercise_login_success
转载: https://mp.weixin.qq.com/s/ZifW2YtB_G2hmf_Es0BAgw