当使用 Selenium 进行网站爬取时,首先确保已经安装了相应的 Selenium 包。可以使用以下命令安装:
pip install selenium
然后,下载对应浏览器的 WebDriver。比如,如果使用 Chrome 浏览器,需要下载 ChromeDriver。将下载的 WebDriver 放置在系统 PATH 中或者指定路径,并替换以下代码中的 WebDriver 路径。
下面是一个简单的 Selenium 爬取网站的 Python 代码模板,使用 Chrome 浏览器为例:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 设置 ChromeDriver 路径
chrome_driver_path = "path/to/chromedriver"
# 创建 Chrome 浏览器实例
driver = webdriver.Chrome(executable_path=chrome_driver_path)
try:
# 打开网页
driver.get("https://example.com")
# 在搜索框中输入关键字
search_box = driver.find_element("name", "q")
search_box.send_keys("Python")
search_box.send_keys(Keys.RETURN)
# 等待一些时间,或者执行其他操作...
# 获取页面内容
page_content = driver.page_source
print(page_content)
finally:
# 关闭浏览器
driver.quit()
需要根据实际情况调整代码中的元素定位方法。