Selenium入门用法详解【Java爬虫】
概述
Selenium 是一个有很多工具和库，可以用来支持浏览器自动化的项目
它能模拟用户与浏览器进行交互，实现 了W3C WebDriver 规范的基础架构 。
Selenium 的核心是WebDriver，可以理解为一个驱动包。
搭建项目
1.先安装Selenium类库（java）
打开你的IDEA，新建一个空的Maven项目，
在项目文件中添加selenium-java依赖项：pom.xml
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>4.7.1</version>
</dependency>
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-grid</artifactId>
<version>4.7.1</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.36</version>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>1.2.11</version>
</dependency>
<!--下面这个依赖会根据你电脑安装的浏览器版本自动选择驱动（驱动管理）-->
<dependency>
<groupId>io.github.bonigarcia</groupId>
<artifactId>webdrivermanager</artifactId>
<version>5.2.3</version>
</dependency>
开始使用Selenium
Selenium 所做的一切都是发送浏览器命令来做某事或发送信息请求。您将使用 Selenium 执行的大部分操作都是以下基本命令的组合：
1. 开始会话
WebDriver driver = new ChromeDriver();
2.访问一个网站
在这个例子中，我们正在导航到一个网页。
driver.get("https://selenium.dev");
3.读取页面数据
您可以请求有关浏览器的多种类型的信息，包括窗口句柄、浏览器大小/位置、cookie、警报等。
driver.getTitle(); // => "Google"
4. 建立等待策略
将代码与浏览器的当前状态同步是 Selenium 的最大挑战之一，而将其做好是一个高级主题。
本质上，您希望在尝试定位元素之前确保该元素位于页面上，并且在尝试与其交互之前该元素处于可交互状态。
隐式等待很少是最好的解决方案，但在这里最容易演示，因此我们将其用作占位符。
driver.manage().timeouts().implicitlyWait(Duration.ofMillis(500));
5. 查找页面元素
大多数 Selenium 会话中的大多数命令都是与元素相关的，如果不先找到元素，您就无法与之交互
WebElement searchBox = driver.findElement(By.name("q"));
WebElement searchButton = driver.findElement(By.name("btnK"));
6.操作查找到的元素
对一个元素只有少量操作，但您会经常使用它们。
searchBox.sendKeys(“Selenium”);
searchButton.click();
7.读取元素信息
元素存储了大量可以请求的信息。请注意，我们需要重新定位搜索框，因为自从我们第一次找到它之后 DOM 已经发生了变化。
driver.findElement(By.name("q")).getAttribute("value"); // => "Selenium"
8. 结束会话
这将结束驱动程序进程，默认情况下也会关闭浏览器。无法向此驱动程序实例发送更多命令。
driver.quit();
Hello world 代码示例
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
public class JDCrawler {
public static void main(String[] args) {
WebDriver driver = new ChromeDriver();
driver.get("https://baidu.com");
driver.quit();
}
}