selenium自动化详解

一 . 基本使用

# pip install selenium -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
from selenium import webdriver  # # 驱动浏览器
from selenium.webdriver.common.by import By  #选择器
from selenium.webdriver.common.keys import Keys   #按键
from selenium.webdriver.support.wait import WebDriverWait  #等待页面加载完毕，寻找某些元素
from selenium.webdriver.support import expected_conditions as EC  ##等待指定标签加载完毕

# 1,驱动浏览器
browser = webdriver.Chrome()  

# 2，请求页面   --返回的数据封装在了browser对象里，不需要额外的变量接收
browser.get('https://www.baidu.com')  #调用浏览器驱动访问站点

# 3，拿到输入框
text_input = browser.find_element(By.ID,'kw') 

# 4，向输入框中写入内容
text_input.send_keys('爬虫')  

# 5，按下回车按钮 
text_input.send_keys(Keys.ENTER)

# # 等待事件 -- 怕网速慢
wait = WebDriverWait(browser,100)  # 参数1：浏览器对象 参数2：时间（秒）

# # 等待某元素出现 presence_of_element_located()传入的参数格式是一个元组
wait.until(EC.presence_of_element_located((By.ID,'result_tts_player')))

print(browser.current_url)  #查看url
print(browser.get_cookies())  #查看cookie
print(browser.page_source)  #查看源代码

browser.close()  # 关闭浏览器

二，声明不同浏览器对象

from selenium import webdriver
browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

三，访问页面

from selenium import webdriver

# 声明Chrome浏览器对象
browser = webdriver.Chrome()

# 请求页面 
browser.get('https://www.taobao.com')

print(browser.page_source)  # 获取网页源代码

browser.close()  # 关闭当前页面

四，查找元素

查找方法

• find_element_by_id 根据id属性来定位

• find_element_by_name 根据name元素来定位

• find_element_by_xpath 根据xpath语法来定位

• find_element_by_tag_name 根据标签名来定位

• find_element_by_class_name 根据class的名字来定位

• find_element_by_css_selector 根据css选择器来定位

• 以下两种方法都是用来的定位超链接的，也就是对应html页面中的a标签，括号里传入的值就是a标签中的超链接文字

• 两者的区别在于一个是完整的超链接文字，一个是可以只写部分超链接文字

• find_element_by_link_text 需要完整的超链接文字

• find_element_by_partial_link_text 可以只写部分超链接文字

源码经过修改之后的写法

• find_element(By.ID,“id”) 根据id属性来定位
• find_element(By.NAME,“name”) 根据name元素来定位
• find_element(By.XPATH,“xpath语法”) 根据xpath语法来定位
• find_elemnt(By.TAG_NAME,“input”) 根据标签名来定位
• find_element(By.CLASS_NAME,“classname”) 根据class的名字来定位
• find_element(By.CSS_SELECTOR,“#id”) 根据css选择器来定位
• find_element(By.LINK_TEXT,“text”) 根据文本属性

1，单个元素

from selenium import webdriver 
browser = webdriver.Chrome()
browser.get("http://www.baidu.com")

browser.find_element(By.LINK_TEXT,"新闻").click() # 通过.click()点击目标链接

from selenium import webdriver 
from selenium.webdriver.common.by import By  #选择器

browser = webdriver.Chrome()
browser.get('https://taobao.com')

#通过元素ID查找 
# by_id = browser.find_element(By.ID,'q')
# by_id.send_keys('美食')
# print(by_id)

# # 通过css选择器查找
# css_select = browser.find_element(By.CSS_SELECTOR,'#q')
# css_select.send_keys('美食')

# # 通过xpath查找  
# xpath = browser.find_element(By.XPATH,'//*[@id="q"]')
# xpath.send_keys('美食')

# browser.close()

2，多个元素

• find_elements(By.ID,“id”) 根据id属性来定位
• find_elements(By.NAME,“name”) 根据name元素来定位
• find_elements(By.XPATH,“xpath语法”) 根据xpath语法来定位
• find_elemnts(By.TAG_NAME,“input”) 根据标签名来定位
• find_elements(By.CLASS_NAME,“classname”) 根据class的名字来定位
• find_elements(By.CSS_SELECTOR,“#id”) 根据css选择器来定位
• find_elements(By.LINK_TEXT,“text”) 根据文本属性

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')

elements = browser.find_elements(By.CSS_SELECTOR,'.service-bd li')   
print(elements)  # 以列表形式返回
for i in elements:
    print(i)