selenium瀏覽器自動化4 - selenium + Beautiful Soup

安裝模塊

selenium
requests
beautifulsoup4

1. selenium
   主要用於登入或js互動，剩餘的在使用bs4進行爬取。

2. requests
   能模擬http請求，如:get、post、put、delete，通常是爬取分頁或a標籤時用到。

官方文檔

如何使用

模擬請求

r = requests.get('https://api.github.com/events')

查看請求狀態

r.status_code
輸出:
>>> 200

取得請求html內容

r.text
輸出:
>>> ''

3. Beautiful Soup
   Beautiful Soup能解析html，能快速尋找標籤內容，也可以透過CSS選擇器快速尋找帶有標籤屬性的內容。

官方文檔

如何使用

from bs4 import BeautifulSoup
import requests
web_data = requests.get('https://api.github.com/events')
soup = BeautifulSoup(web_data, 'lxml') #解析Html
soup.title

啟動

基本使用

selenium_bs4_demo1.py

from bs4 import BeautifulSoup

from selenium import webdriver

browser = webdriver.Firefox()
browser.get('https://w3.iiiedu.org.tw/')
wb_html = browser.page_source
soup = BeautifulSoup(wb_html,"lxml")

小結

大部分網頁都用requests都能獲取，用到selenium情況比較少，有登入或js需求可以參考，在此紀錄心得。