python 爬虫实战四：用 selenium 爬取知乎某一问题下所有回答

前言

最近我又重新拾起了爬虫，想实现一下前几次爬虫所没有涉及到的两个点：模拟登录和动态网页爬取，所采用的方法是利用 selenium 这个库，例子是爬取知乎某一问题下所有回答。

模拟登录

很多网站，比如知乎、微博、豆瓣，都需要登录之后，才能浏览某些内容。所以想要爬取这类网站，必须先模拟登录。比较简单的方式是利用这个网站的 cookie。cookie 相当于是一个密码箱，里面储存了用户在该网站的基本信息。在一次登录之后，网站会记住你的信息，把它放到cookie里，方便下次自动登录。所以，要爬取这类网站的策略是：先进行一次手动登录，获取cookie，然后再次登录时，调用上一次登录得到的cookie，实现自动登录。

代码如下：（参考 微笑的AK-47：原内容）

# 得到登录的cookie
def login_cookie():
    driver = get_driver()    
    driver.set_page_load_timeout(20)
    driver.set_script_timeout(20)
    LOGIN_URL = 'https://www.zhihu.com/'
    driver.get(LOGIN_URL)
    time.sleep(5)
    input("请登录后按 Enter")
    cookies = driver.get_cookies()
    jsonCookies = json.dumps(cookies)
    #下面的文件位置需要自己改
    with open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt','w') as f:
        f.write(jsonCookies)
    driver.quit()

# 再次登录
def login():    
    driver.set_page_load_timeout(20)
    driver.set_script_timeout(20)
    LOGIN_URL = 'https://www.zhihu.com/'
    driver.get(LOGIN_URL)
    time.sleep(5)
    #下面的文件位置需要自己改，与上面的改动一致
    f = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt')
    cookies = f.read()
    jsonCookies = json.loads(cookies)
    for co in jsonCookies:
        driver.add_cookie(co)
    driver.refresh()
    time.sleep(5)

动态爬取

在爬取知乎某个问题的时候，需要将滑动鼠标滚轮到底部，以显示新的回答。静态的爬取方法无法做到这一点，可以引入selenium库来解决这一问题。selenium库模拟人浏览网站、进行操作，简单易懂。附上官方文档和中文教程。
代码如下：

# 爬取某问题下的所有答案
def get_answers(question_url):
    driver.get(question_url)
    number_text = driver.find_element_by_partial_link_text('查看全部').text
    number = int(re.search('[0-9]+',number_text).group())
    driver.find_element_by_partial_link_text('查看全部').click()
    for k in range(number):
        xpath = '/html/body/div[1]/div/main/div/div[2]/div[1]/div/div[2]/div/div/div/div[2]/div/div[{}]/div/div[2]/div[1]/span'.format(k+1)
        element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, xpath)))
        answer = element.text
        #下面的文件位置需要自己改，保存到你想要的位置
        file = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/回答/answer{}.txt'.format(k+1),'w',encoding='utf-8')
        file.write(answer)
        file.close()
        print('answer '+ str(k+1) +' collected!')
        time.sleep(1)
        js="window.scrollTo(0,document.body.scrollHeight)"
        driver.execute_script(js)
        time.sleep(1)

完整代码

# -*- coding: utf-8 -*-
"""
Created on Sat Oct 31 14:41:46 2020

@author: zxw
"""
# 引入必要的库
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import json
import time
import re

def get_driver():
    try:
        return webdriver.PhantomJS()
    except Exception:
        return webdriver.Firefox()


# 得到登录的cookie
def login_cookie():
    driver = get_driver()    
    driver.set_page_load_timeout(20)
    driver.set_script_timeout(20)
    LOGIN_URL = 'https://www.zhihu.com/'
    driver.get(LOGIN_URL)
    time.sleep(5)
    input("请登录后按 Enter")
    cookies = driver.get_cookies()
    jsonCookies = json.dumps(cookies)
    #下面的文件位置需要自己改
    with open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt','w') as f:
        f.write(jsonCookies)
    driver.quit()

# 再次登录
def login():    
    driver.set_page_load_timeout(20)
    driver.set_script_timeout(20)
    LOGIN_URL = 'https://www.zhihu.com/'
    driver.get(LOGIN_URL)
    time.sleep(5)
    #下面的文件位置需要自己改，与上面的改动一致
    f = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt')
    cookies = f.read()
    jsonCookies = json.loads(cookies)
    for co in jsonCookies:
        driver.add_cookie(co)
    driver.refresh()
    time.sleep(5)

# 爬取某问题下的所有答案
def get_answers(question_url):
    driver.get(question_url)
    number_text = driver.find_element_by_partial_link_text('查看全部').text
    number = int(re.search('[0-9]+',number_text).group())
    driver.find_element_by_partial_link_text('查看全部').click()
    for k in range(number):
        xpath = '/html/body/div[1]/div/main/div/div[2]/div[1]/div/div[2]/div/div/div/div[2]/div/div[{}]/div/div[2]/div[1]/span'.format(k+1)
        element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, xpath)))
        answer = element.text
        #下面的文件位置需要自己改，保存到你想要的位置
        file = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/回答/answer{}.txt'.format(k+1),'w',encoding='utf-8')
        file.write(answer)
        file.close()
        print('answer '+ str(k+1) +' collected!')
        time.sleep(1)
        js="window.scrollTo(0,document.body.scrollHeight)"
        driver.execute_script(js)
        time.sleep(1)

if __name__ == "__main__":
    # 设置你想要搜索的问题
    question_url = 'https://www.zhihu.com/question/21592677/answer/142800018'
    login_cookie()
    driver = get_driver() 
    login()
    get_answers(question_url)

效果展示

更改上述代码中的路径位置和想要爬取的问题，然后点击运行。
控制台里按回车

然后不要动！！！静观其变。
最终结果如下：