Python爬虫实战（3）selenium完成瀑布流数据爬取

前言

• 蛋肥已基本掌握页码分页类型的数据爬取，这次尝试对“查看更多”瀑布流分页类型的数据进行爬取。

准备

爬取时间：2021/01/27
系统环境：Windows 10
所用工具：Jupyter Notebook\Python 3.0
涉及的库：selenium\time\pandas\matplotlib\jieba\stylecloud

获取基础数据

蛋肥想法：借助selenium，实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据。

36氪|职场资讯
https://36kr.com/information/web_zhichang
参考资料
安装chromedriver
Selenium元素定位的30种方式
Selenium处理js行为的方法
Selenium之定位相同元素的第二个元素

from selenium import webdriver
import time

def getinfo():
    driver=webdriver.Chrome(executable_path=r"C:\Users\Archer\AppData\Local\Google\Chrome\Application\chromedriver")
    driver.get("https://36kr.com/information/web_zhichang")
    #循环点击查看更多按钮，直到日期出现2019
    while (driver.find_elements_by_xpath('//span[@class="kr-flow-bar-time"]')[-1].text)>"2019-12-31":
        element=driver.find_element_by_xpath('//div[@class="kr-loading-more-button show"]')
        driver.execute_script("arguments[0].click();",element)
        time.sleep(1)
    #获取文章相关元素
    title_list=driver.find_elements_by_xpath('//a[@class="article-item-title weight-bold"]')
    author_list=driver.find_elements_by_xpath('//a[@class="kr-flow-bar-author"]')
    date_list=driver.find_elements_by_xpath('//span[@class="kr-flow-bar-time"]')
    #获取元素文本内容
    target_list=[]
    for i in range(len(title_list)):
        target=[title_list[i].text,author_list[i].text,date_list[i].text]
        target_list.append(target)
    return(target_list)
    #完成后退出驱动
    driver.quit()

#执行函数
info=getinfo()

数据预处理

蛋肥想法：36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存。

import pandas as pd 
#筛选2020年的数据并保存
df=pd.DataFrame(info,columns=["题目","作者","日期"])
df_final=df[(df["日期"]<="2020-12-31")&(df["日期"]>"2019-12-31")]
df_final.to_excel(r"C:\Users\Archer\Desktop\爬取数据.xlsx",index=False)

保存到本地的部分数据

数据可视化

蛋肥想法：此次重点是学习selenium，所以只简单做一下数据可视化。

import matplotlib.pyplot as plt

#画图四件套：显示、矢量、中文、负号
%matplotlib inline
%config InlineBackend.figure_format="svg"
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False

绘制作者发文量TOP10

#作者发文量TOP10
df_read=df_final.groupby("作者").count().sort_values("题目")[-10:]

#绘制画布
plt.figure(figsize=(10,8))
#绘制作者-发文量TOP10
plt.subplot(1,1,1)
plt.title("作者发文量TOP10",fontsize=15)  
x=list(df_read.index)
y=list(df_read["题目"])
plt.barh(x,y)
for a,b in zip(x,y):
    plt.text(b,a,b,ha="left",va="center",fontsize=10)
#隐藏xticks，节约空间
plt.xticks([])

#保存图片
plt.savefig(r"C:\Users\Archer\Desktop\作者发文量TOP10.png",bbox_inches="tight")

绘制题目热词词云

import jieba
from stylecloud import gen_stylecloud

#去掉中文停用词
textc=list(df_final["题目"])
file_stop=open(r"C:\Users\Archer\Desktop\stop.txt","r",encoding='utf-8')
textstop=[x.replace("\n","") for x in list(file_stop)] 
file_stop.close()
for i in range(len(textc)):
    for j in range(len(textstop)):
        textc[i]=textc[i].replace(textstop[j],"")

#保存成txt
file=open(r"C:\Users\Archer\Desktop\题目词云.txt","a+",encoding='utf-8')
for i in range(len(textc)):
    s=str(textc[i])
    file.write(s)
file.close()

#直接复制词云代码，icon_name对应词云轮廓，palette对应配色
def jieba_cloud(file_name):
    with open(file_name,'r',encoding='utf8') as f:
        word_list = jieba.cut(f.read())
        result = " ".join(word_list)
        #制作中文云词
        gen_stylecloud(text=result,palette='tableau.BlueRed_6',icon_name='fas fa-comment',font_path='C:\\Windows\\Fonts\\simhei.ttf',output_name=file_name.split('.')[0] + '.png')       
if __name__ == "__main__":
    file_name = r"C:\Users\Archer\Desktop\题目词云.txt"
    jieba_cloud(file_name)

总结

• selenium大法好啊，有很多想象空间。
• ⊙△⊙？好像可以用selenium来打卡给。