python爬虫入门—selenium常规操作

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup ，lxml或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。

.
.
.
这是一些基本的操作方法，在后边有详细讲解

# 导入webdriver模块
from selenium import webdriver

# 指定使用Chrome浏览器
driver = webdriver.Chrome()

# get方法会一直等到页面被完全加载，然后才会继续程序。
driver.get("https://baidu.com/")

# 获取页面名为 wrapper的id标签的文本内容
data = driver.find_element_by_id("wrapper").text


# 生成快照，当我们有滑动验证码时这个时候快照就其了作用，将验证图片保存下来分析图片
driver.save_screenshot("baidu.png")

# id="kw"是百度搜索输入框，输入字符串"长城"
driver.find_element_by_id("kw").send_keys("夏天")
# id="su"是百度搜索按钮，click() 是模拟点击
driver.find_element_by_id("su").click()

# 获取当前页面Cookies
cookies = driver.get_cookies()
print(cookies)

# 调用键盘按键操作时需要引入的Keys包
from selenium.webdriver.common.keys import Keys

# ctrl+a 全选输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'a')

# ctrl+x 剪切输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'x')

# 输入框重新输入内容
driver.find_element_by_id("kw").send_keys("春天")

# 模拟Enter回车键
driver.find_element_by_id("su").send_keys(Keys.RETURN)

# 清除输入框内容
driver.find_element_by_id("kw").clear()

# 生成新的页面快照
driver.save_screenshot("difan.png")

# 获取当前url
print(driver.current_url)

# 关闭当前页面，如果只有一个页面，会关闭浏览器
driver.close()

# 关闭浏览器
driver.quit()

…
…

1，进入指定网页（百度）

# 导入webdriver模块
from selenium import webdriver

# 指定使用Chrome浏览器
driver = webdriver.Chrome()

# get方法会一直等到页面被完全加载，然后才会继续程序。
driver.get("https://baidu.com/")

…效果展示…

.
.
2， 获取页面名为 wrapper的id标签的文本内容
利用xpath插件查看一下weapper的内容

代码

# 获取页面名为 wrapper的id标签的文本内容
data = driver.find_element_by_id("wrapper").text
print(data)

…效果展示…

3,生成快照（页面截图，括号中为图片名）

#生成快照，当我们有滑动验证码时这个时候快照就其了作用，将验证图片保存下来分析图片
driver.save_screenshot("baidu.png")

4，在页面搜索内容
当点击检查后可以发现搜索对应的时kw等信息

代码

# id="kw"是百度搜索输入框，输入字符串"夏天"
driver.find_element_by_id("kw").send_keys("夏天")
# id="su"是百度搜索按钮，click() 是模拟点击
driver.find_element_by_id("su").click()

…效果展示…

5，获取当前页cookies

# 获取当前页面Cookies
cookies = driver.get_cookies()
print(cookies)

…效果展示…

6，调用键盘进行一些我们键盘上的快捷键操作了

# 调用键盘按键操作时需要引入的Keys包
from selenium.webdriver.common.keys import Keys

# ctrl+a 全选输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'a')

# ctrl+x 剪切输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'x')

# 输入框重新输入内容
driver.find_element_by_id("kw").send_keys("春天")

# 模拟Enter回车键
driver.find_element_by_id("su").send_keys(Keys.RETURN)

# 清除输入框内容
driver.find_element_by_id("kw").clear()

# 生成新的页面快照
driver.save_screenshot("difan.png")

# 获取当前url
print(driver.current_url)

7，在最后我们要记得退出哦!

# 关闭当前页面，如果只有一个页面，会关闭浏览器
driver.close()

# 关闭浏览器
driver.quit()

.
.
有兴趣的小伙伴可以试一试哦，下次在网页播放音乐只需要点开文件运行就可以了哦，下一篇文章就是我们的项目实战，喜欢的朋友可以点个关注哦！