selenium的基本使用

初步使用selenium

操作谷歌浏览器驱动下载地址：（下载对应版本。版本号大致相同即可，不必完全相同，它是向下兼容的）
https://chromedriver.storage.googleapis.com/index.html
下载之后解压，得到一个【chromedriver.exe】文件，然后将将它和待执行的py文件放在同一个文件夹下即可，不需要按钮，放着就行。（其实放哪都行，只不过写代码时要注意路径）

from selenium import webdriver

# 创建浏览器操作对象（这个应用程序与当前文件在同一个目录下，所以写路径时可以直接写它的全名）
path = 'chromedriver.exe'
browser = webdriver.Chrome(path)

# 访问网站
url = 'https://www.jd.com'
browser.get(url)

content = browser.page_source

print(content)

运行之后，浏览器自动打开了一个京东首页，京东首页的内容也被打印在了控制台

selenium元素定位

from selenium import webdriver

# 创建浏览器操作对象
path = 'chromedriver.exe'
browser = webdriver.Chrome(path)

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)


# 元素定位

# 根据id来寻找对象
# button = browser.find_element_by_id('su')
# print(content)

# 根据标签属性的属性值来获取对象
# button = browser.find_element_by_name('wd')
# print(content)

# 根据xpath语句获取对象
# button = browser.find_elements_by_xpath('//input[@id="su"]')
# print(content)

# 根据标签的名字来获取对象
# button = browser.find_elements_by_tag_name('input')
# print(content)

# 根据CSS属性获取对象(等价于bs4语法)
# button = browser.find_elementss_by_css_selector('#su')
# print(content)

# 获取链接文本
# button = browser.find_element_by_link_text('直播')
# print(content)

selenium获取元素信息

from selenium import webdriver

# 创建浏览器操作对象
path = 'chromedriver.exe'
browser = webdriver.Chrome(path)

# 访问网站
url = 'https://www.baidu.com'
browser.get(url)


# 获取元素信息
#
# input = browser.find_element_by_id('su')
# # 打印id值为su的标签的class属性值
# print(input.get_attribute('calss'))
# # 打印id值为su的标签的标签名称
# print(input.tag_name)
# # 打印id值为su的标签的元素文本（元素文本位置）
# print(input.text)

selenium的交互

from selenium import webdriver
import time

path = 'chromedriver.exe'
browser = webdriver.Chrome(path)

url = 'https://www.baidu.com'
browser.get(url)

# 歇一会
time.sleep(2)


# 获取文本框的对象
input = browser.find_element_by_id('kw')
# 在文本框中输入检索目标
input.send_keys('周杰伦')

time.sleep(2)

# 获取百度一下的按钮
button = browser.find_element_by_id('su')
# 点击按钮
button.click()

time.sleep(2)

# 滑到底部
js_bottom = 'document.documentElement.scrollTop=100000'
browser.execute_script(js_bottom)

time.sleep(2)

# 获取下一页的按钮
next = browser.find_element_by_xpath('//a[@class="n"]')
# 点击按钮
next.click()

time.sleep(2)

# 后退一页
browser.back()

time.sleep(2)

# 前进一页
browser.forward()

time.sleep(2)

# 退出
browser.quit()


# 运行之后。你就可以看见网页在一步步自动操作，最后自己关闭

Phantomjs

下载地址。这个用的较少，而且停更了。

1. 一个无界面的浏览器
2. 支持页面元素查找，js的执行等
3. 不进行css和gui的渲染，运行效率要比真实的浏览器要快很多

from selenium import webdriver
import time

path = 'phantomjs.exe'
browser = webdriver.PhantomJS(path)

url = 'https://www.baidu.com'
browser.get(url)

# 因为是无界面的交互，所以想看效果可以“拍个照”
browser.save_screenshot('baidu.png')

time.sleep(2)

input = browser.find_element_by_id('kw')
input.send_keys('林俊杰')

time.sleep(2)

browser.save_screenshot('JJ.png')

Chrome handless

这也是个无界面的浏览器，与Phantomjs类似，用的最多。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options


def share_browser():
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    # 自己的Chrome浏览器的文件路径
    path = r'C:\Program Files\Google\Chrome\Application\chrome.exe'
    chrome_options.binary_location = path

    browser = webdriver.Chrome(chrome_options=chrome_options)
    return browser


browser = share_browser()
url = 'https://www.baidu.com'
browser.get(url)

browser.save_screenshot('baidu.png')