最近我又重新拾起了爬虫,想实现一下前几次爬虫所没有涉及到的两个点:模拟登录和动态网页爬取,所采用的方法是利用 selenium 这个库,例子是爬取知乎某一问题下所有回答。
很多网站,比如知乎、微博、豆瓣,都需要登录之后,才能浏览某些内容。所以想要爬取这类网站,必须先模拟登录。比较简单的方式是利用这个网站的 cookie。cookie 相当于是一个密码箱,里面储存了用户在该网站的基本信息。在一次登录之后,网站会记住你的信息,把它放到cookie里,方便下次自动登录。所以,要爬取这类网站的策略是:先进行一次手动登录,获取cookie,然后再次登录时,调用上一次登录得到的cookie,实现自动登录。
代码如下:(参考 微笑的AK-47:原内容)
# 得到登录的cookie
def login_cookie():
driver = get_driver()
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
LOGIN_URL = 'https://www.zhihu.com/'
driver.get(LOGIN_URL)
time.sleep(5)
input("请登录后按 Enter")
cookies = driver.get_cookies()
jsonCookies = json.dumps(cookies)
#下面的文件位置需要自己改
with open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt','w') as f:
f.write(jsonCookies)
driver.quit()
# 再次登录
def login():
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
LOGIN_URL = 'https://www.zhihu.com/'
driver.get(LOGIN_URL)
time.sleep(5)
#下面的文件位置需要自己改,与上面的改动一致
f = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt')
cookies = f.read()
jsonCookies = json.loads(cookies)
for co in jsonCookies:
driver.add_cookie(co)
driver.refresh()
time.sleep(5)
在爬取知乎某个问题的时候,需要将滑动鼠标滚轮到底部,以显示新的回答。静态的爬取方法无法做到这一点,可以引入selenium库来解决这一问题。selenium库模拟人浏览网站、进行操作,简单易懂。附上官方文档和中文教程。
代码如下:
# 爬取某问题下的所有答案
def get_answers(question_url):
driver.get(question_url)
number_text = driver.find_element_by_partial_link_text('查看全部').text
number = int(re.search('[0-9]+',number_text).group())
driver.find_element_by_partial_link_text('查看全部').click()
for k in range(number):
xpath = '/html/body/div[1]/div/main/div/div[2]/div[1]/div/div[2]/div/div/div/div[2]/div/div[{}]/div/div[2]/div[1]/span'.format(k+1)
element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, xpath)))
answer = element.text
#下面的文件位置需要自己改,保存到你想要的位置
file = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/回答/answer{}.txt'.format(k+1),'w',encoding='utf-8')
file.write(answer)
file.close()
print('answer '+ str(k+1) +' collected!')
time.sleep(1)
js="window.scrollTo(0,document.body.scrollHeight)"
driver.execute_script(js)
time.sleep(1)
# -*- coding: utf-8 -*-
"""
Created on Sat Oct 31 14:41:46 2020
@author: zxw
"""
# 引入必要的库
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import json
import time
import re
def get_driver():
try:
return webdriver.PhantomJS()
except Exception:
return webdriver.Firefox()
# 得到登录的cookie
def login_cookie():
driver = get_driver()
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
LOGIN_URL = 'https://www.zhihu.com/'
driver.get(LOGIN_URL)
time.sleep(5)
input("请登录后按 Enter")
cookies = driver.get_cookies()
jsonCookies = json.dumps(cookies)
#下面的文件位置需要自己改
with open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt','w') as f:
f.write(jsonCookies)
driver.quit()
# 再次登录
def login():
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
LOGIN_URL = 'https://www.zhihu.com/'
driver.get(LOGIN_URL)
time.sleep(5)
#下面的文件位置需要自己改,与上面的改动一致
f = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt')
cookies = f.read()
jsonCookies = json.loads(cookies)
for co in jsonCookies:
driver.add_cookie(co)
driver.refresh()
time.sleep(5)
# 爬取某问题下的所有答案
def get_answers(question_url):
driver.get(question_url)
number_text = driver.find_element_by_partial_link_text('查看全部').text
number = int(re.search('[0-9]+',number_text).group())
driver.find_element_by_partial_link_text('查看全部').click()
for k in range(number):
xpath = '/html/body/div[1]/div/main/div/div[2]/div[1]/div/div[2]/div/div/div/div[2]/div/div[{}]/div/div[2]/div[1]/span'.format(k+1)
element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, xpath)))
answer = element.text
#下面的文件位置需要自己改,保存到你想要的位置
file = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/回答/answer{}.txt'.format(k+1),'w',encoding='utf-8')
file.write(answer)
file.close()
print('answer '+ str(k+1) +' collected!')
time.sleep(1)
js="window.scrollTo(0,document.body.scrollHeight)"
driver.execute_script(js)
time.sleep(1)
if __name__ == "__main__":
# 设置你想要搜索的问题
question_url = 'https://www.zhihu.com/question/21592677/answer/142800018'
login_cookie()
driver = get_driver()
login()
get_answers(question_url)