2020-10-23 python爬虫学习第二弹

selenium框架学习

selenium 中文文档
1.什么是selenium

selenium
是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9,
10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。selenium
是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote
Control）和测试的并行处理（Selenium Grid）。 Selenium的核心Selenium
Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。
selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
i

意思就是我们可以通过selenium在浏览器上执行我们写好的程序，以此来解决 只能抓取静态页面带来的操作复杂，数据量小的问题

2.使用selenium进行初级控制浏览器

比如下面这段代码，我就是使用selenium打开了chrome，进入百度，搜索我指定的文字。

# selenium框架实现打开百度并搜索功能
from selenium import webdriver
import time
# 初始化
driver=webdriver.Chrome(chrome_options={
     })
driver.get('https://www.baidu.com')

input=driver.find_element_by_css_selector('.s_ipt')
button=driver.find_element_by_css_selector('#su')
input.send_keys("进击的巨人")
time.sleep(3)
button.click()
input.clear()
input.send_keys('泽野弘之')

非常类似DOM查找，实际上就是在HTML里找到DOM节点，并执行操作。执行截图如下：