用Python爬取糗事百科段子，可视化后结果发现
大家好，我是小五????
生活真是太苦了，需要找点快乐的精神食粮支撑社畜生活，听说糗事百科段子挺多，今天就来看一看！
糗事百科的段子栏目声称：幽默笑话大全__爆笑笑话__笑破你的肚子的搞笑段子，我们用 Python 来看看糗事百科的段子到底怎么样呢？
本文主要内容：
selenium爬取段子信息
这次我们利用selenium来实现翻页爬取段子信息！
翻页查看url变化规律：
https://www.qiushibaike.com/text/page/1/
https://www.qiushibaike.com/text/page/2/
https://www.qiushibaike.com/text/page/3/
https://www.qiushibaike.com/text/page/4/
https://www.qiushibaike.com/text/page/5/
https://www.qiushibaike.com/text/page/6/
思路：段子信息在 id 为 content 的 div 标签下的 div 下的第二个 div 标签下的 div 标签里，获取到所有 div 标签的内容，然后遍历，从中提取出每一条段子信息。
代码如下：
from selenium import webdriver
from time import sleep
import logging
import openpyxl
wb = openpyxl.Workbook()
sheet = wb.active
sheet.append(['段子内容', '好笑数', '评论数'])
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
chrome_driver = r'D:\python\pycharm2020\chromedriver.exe'
options = webdriver.ChromeOptions()
# 可以设置无头模式 不弹出浏览器
# options.add_argument("--headless")
# 关闭左上方 Chrome 正受到自动测试软件的控制的提示
options.add_experimental_option('useAutomationExtension', False)
options.add_experimental_option("excludeSwitches", ['enable-automation'])
browser = webdriver.Chrome(options=options, executable_path=chrome_driver)
# 可以设置绕过Webdriver的检测
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
def get_data(page): # 爬取数据函数
url = f'https://www.qiushibaike.com/text/page/{page}/'
browser.get(url) # 访问目标url
browser.maximize_window() # 最大化窗口
sleep(1) # 短暂休眠
# Xpath定位到所有包含段子信息的div标签
items = browser.find_elements_by_xpath('//*[@id="content"]/div/div[2]/div')
# print(len(items)) 一页25条段子
# 遍历 获取每一条段子信息
for item in items:
con = item.find_element_by_xpath('.//a/div/span').text # 段子内容
funny_num = item.find_element_by_xpath('.//div[2]/span[1]/i').text # 好笑数
comment_num = item.find_element_by_xpath('.//div[2]/span[2]/a/i').text # 评论数
sheet.append([con, funny_num, comment_num])
logging.info([con, funny_num, comment_num])
if __name__ == '__main__':
for i in range(1, 14): # 翻页爬取
get_data(i)
browser.quit() # 关闭浏览器
wb.save(filename='datas.xlsx') # 保存数据
运行结果如下：
段子信息保存到了本地 Excel 里，结果如下：
绘制词云图
段子内容词云图可视化
import pandas as pd
import jieba
import collections
import re
from wordcloud import WordCloud
import matplotlib.pyplot as plt
# 读取段子数据
datas = pd.read_excel('datas.xlsx')['段子内容']
# 读取停用词数据
with open('stop_words.txt', encoding='utf-8') as f:
con = f.read().split('\n') # 得到每一行的停用词
stop_words = set()
for i in con:
stop_words.add(i)
result_list = []
for data in datas:
# 文本预处理 去除一些无用的字符 只提取出中文出来
new_data = re.findall('[\u4e00-\u9fa5]+', data, re.S)
new_data = "/".join(new_data)
# 文本分词
seg_list_exact = jieba.cut(new_data, cut_all=True)
# 去除停用词和单个词
for word in seg_list_exact:
if word not in stop_words and len(word) > 1:
result_list.append(word)
print(result_list)
# 筛选后统计
word_counts = collections.Counter(result_list)
# 绘制词云
my_cloud = WordCloud(
background_color='white', # 设置背景颜色 默认是black
width=800, height=550,
font_path='simhei.ttf', # 设置字体 显示中文
max_font_size=160, # 设置字体最大值
min_font_size=16, # 设置字体最小值
random_state=88 # 设置随机生成状态，即多少种配色方案
).generate_from_frequencies(word_counts)
# 显示生成的词云图片
plt.imshow(my_cloud, interpolation='bilinear')
# 显示设置词云图中无坐标轴
plt.axis('off')
plt.show()
运行效果如下：
老婆、朋友、孩子、媳妇、同事、回家、老公等词云都是糗事百科段子内容里出现频率较高，都比较贴进生活，除此之外，"发现" 这个词也是出现频率较高的，看来有点东西。
散点图
分析评论数与好笑数之间关系，散点图可视化
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib as mpl
# 读取数据
df = pd.read_excel('datas.xlsx')
funny_num, comment_num = df['好笑数'], df['评论数']
# 设置中文显示
mpl.rcParams['font.family'] = 'SimHei'
# 设置图形显示风格 ggplot
plt.style.use('ggplot')
# 设置大小 像素
plt.figure(figsize=(9, 6), dpi=100)
# 绘制散点图
plt.scatter(comment_num, funny_num)
# 添加描述信息
plt.title('段子评论数与好笑数关系-散点图')
plt.xlabel('评论数')
plt.ylabel('好笑数')
plt.show()
运行效果如下：
在评论数小于 50 时，点分布密集，大概还有评论数多，好笑数多的关系，评论数大于50之后，点分布非常散乱。段子的评论数和好笑数实时在变，下面来看看我们那是爬取下来的段子里评论数最多、好笑数最多的分别讲的啥。
TOP级别段子
import pandas as pd
# 读取数据
df = pd.read_excel('datas.xlsx')
# 降序排列后打印第一行 评论数最多
df1 = df.sort_values(by='评论数', ascending=False)
print(df1.values[0])
评论数最多的段子
import pandas as pd
# 读取数据
df = pd.read_excel('datas.xlsx')
# 降序排列后打印第一行 好笑数最多
df1 = df.sort_values(by='好笑数', ascending=False)
print(df1.values[0])
好笑数最多的段子
emmm，幽默笑话大全__爆笑笑话__笑破你的肚子的搞笑段子，就这?
作者：叶庭云
CSDN：https://yetingyun.blog.csdn.net/本文仅用于交流学习，未经作者允许，禁止转载，更勿做其他用途，违者必究。觉得文章对你有帮助、让你有所收获的话，期待你的点赞呀，不足之处，也可以在评论区多多指正。
????《Python最优化算法实战》此书以理论结合编程开发为原则，使用Python作为开发语言，讲解优化算法的原理和应用，详细介绍了Python基础、Gurobi 优化器、线性规划、整数规划、多目标优化、动态规划、图与网络分析、智能优化算法。点击下图可看详情/购买！????
感谢北京大学出版社支持！周日统一兑换！后台回复“读书会”进群，聊书聊币吹吹牛！后台回复“规则”轻松赚币，免费包邮带回家！