用selenium+ChromeDriver豆瓣电影 肖申克的救赎 短评爬取(pycharm 爬虫)

一、豆瓣电影 肖申克的救赎 短评url=https://movie.douban.com/subject/1292052/comments

 用selenium+ChromeDriver豆瓣电影 肖申克的救赎 短评爬取(pycharm 爬虫)_第1张图片

 

用selenium+ChromeDriver豆瓣电影 肖申克的救赎 短评爬取(pycharm 爬虫)_第2张图片

二、基本知识点讲解

1. Selenium 的基本使用

Selenium 是一个用于自动化浏览器操作的库,常用于网页测试和爬虫。代码中使用了以下 Selenium 的核心功能:

  • webdriver.Chrome: 启动 Chrome 浏览器实例。

  • driver.get(url): 打开指定的网页。

  • driver.find_elements: 查找页面中符合条件的所有元素。

  • driver.execute_script: 执行 JavaScript 代码(例如点击按钮)。

  • driver.quit(): 关闭浏览器并结束 WebDriver 会话。


2. ChromeDriver 的配置

  • Service: 用于指定 ChromeDriver 的路径。

  • executable_path: ChromeDriver 可执行文件的路径(需与 Chrome 浏览器版本匹配)。


3. 页面元素的定位

Selenium 提供了多种定位页面元素的方式,代码中使用了以下方法:

  • By.XPATH: 使用 XPath 表达式定位元素。

你可能感兴趣的:(Python网络爬虫,selenium,pycharm,爬虫)