使用Selenium自动登陆豆瓣网站 & Selenium 和 requests + BeautifulSoup的对比

通过最近对Selenium的学习发现它其实是一个非常强大的爬虫工具，同时又是一个强大的自动化脚本工具，在使用的过程中我们会发现它的几个函数功能：

   find_element_by_id 通过id来查找元素，一般都是唯一的

   find_element_by_tag_name 

   find_element_by_class_name（） 通过class名去查找，通常是不唯一的

  find_element_by_xpath() 通过路径去进行查找

 

#encoding = utf-8

from selenium import webdriver
import time

u = 'https://accounts.douban.com/passport/login?source=book'

browser = webdriver.Firefox(executable_path = "/Users/StevenGao/geckodriver")
browser.get(u)

browser.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div/div[1]/ul[1]/li[2]').click()
browser.find_element_by_id('username').clear()
browser.find_element_by_id('username').send_keys('[email protected]')
browser.find_element_by_id('password').clear()
browser.find_element_by_id('password').send_keys('seagull')
browser.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div/div[2]/div[1]/div[4]/a').click()

time.sleep(3)
browser.quit()

 

Selenium 和 requests & BeautifulSoup的区别：

1⃣️   Selenium 可以对动态页面进行抓取

2⃣️

 

未完待续