最近刷抖音的时候看到了一个网上爆火的话题
’既然所有的生命都要死亡，那么生命的意义是什么？‘
2000万浏览，近8万个回答。结果下方的评论让我大感意外
没有意义，只是为了活着....
似乎所有人都很悲观、厌世
所以今天我们就使用python爬虫来获取知乎这一话题下的所有评论信息，看看大家都是如何看待这一问题的？
目标获取
关于scrapy概念讲的我嘴都麻了，估计大家看得也快烦死了，
直接进入主题吧!
直接创建scrapy项目创建完成结构如下：
需求分析
我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页
评论点赞数和评论时间并将其保存做可视化分析
网页分析
F12点击查看网页源码，所有评论信息如下：都在一个名为data的数据文件中存储。
所以第一步我们需要先获取该文件从而获取我们所需信息
item定义
上面已经分析出我们的5个需求，我们在items.py中定义如下：
# 作者首页
photo = scrapy.Field()
# 作者名称
name = scrapy.Field()
# 评论时间
cmt_time = scrapy.Field()
# 评论点赞数
stars = scrapy.Field()
# 评论内容
comments = scrapy.Field()
发送请求
找到网页请求的真实链接，如下：
然后我们使用scrapy在spider_zhihu.py文件中发送请求
为了防止被网站反爬，我们加上headers。
defparse(self, response):
zhihu_data = response.json()
ic(zhihu_data)
可以看到，我们已经成功的获取到了该json格式数据集
但是我们的数据是存储在data列表中的，所以我么还需进一步获取到data列表才能获取到目标数据
forzhinzhihu:
# 作者名称
item['name'] = zh['author']['member']['name']
# 作者座右铭
item['motto'] = zh['author']['member']['headline']
# 评论时间
cmt_time = zh['created_time']
item['cmt_time'] = time.strftime('%Y-%m-%d %H:%M', time.localtime(cmt_time))
# 评论点赞数
item['stars'] = zh['vote_count']
# 评论内容
item['comments'] = zh['content']
'''
沉吟 如果把一生分成两半，那么前半段一定是“不犹豫”，后半段一定是“不后悔”。 2021-09-21 20:06 0 生命本来没有意义，但总有一些事和一些人让它变得有意义。
梅莺苗刀 一个悟家。 2021-11-13 23:43 0 这可能是最正的一个回答，请列位耐心看完
如果死亡没有意义，那么活着能有什么意义...嘿 小家伙 快乐不期而至 2021-02-04 00:53 0 延长生命
小羅 KeepFit健身工作室创始人自律即自由！ 2018-09-01 10:07 1 死了不是你另一种活着的方式吗
看着办 不知道说什么 2021-01-05 13:17 0 就是你不想死的意义
'''
需求现在已经实现，我们现在要做的就是将数据抛给pipeline，让他自行去下载，这一步scrapy已经写好了，我们只需打开开关即可
ITEM_PIPELINES = {
'zhihu.pipelines.ZhihuPipeline':300,
}
多页获取
我们提取多页链接如下观察规律：
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=0&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=10&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=40&order=normal&status=open
每页数据展示数目由limit=10控制；翻页参数由page控制。
所以我们多页链接构造如下：
url =f'https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset={(page-1)*10}&order=normal&status=open'
数据下载
我们还是使用openpyxl将数据下载到Excel中然后做数据分析。
wb = Workbook()
ws = self.wb.active
ws.append(['作者首页','作者名称','评论时间','点赞人数','评论内容'])
line = [item['photo'], item['name'], item['cmt_time'], item['stars'], item['comments']]
ws.append(line)
wb.save('../知乎.xlsx')
数据抓取成功部分展示如下：
数据清洗
接下来我们使用pandas对获取到的数据进行去重和去空等处理
pd.set_option('display.max_columns',None)# 显示完整的列
pd.set_option('display.max_rows',None)# 显示完整的行
pd.set_option('display.expand_frame_repr',False)# 设置不折叠数据
# 读取数据
rcv_data = pd.read_excel('../知乎.xlsx')
# 删除重复记录和缺失值
rcv_data = rcv_data.drop_duplicates()
rcv_data = rcv_data.dropna()
# 抽样展示
print(rcv_data.sample(5))
'''
138 看前面一条狗 无聊不 2021-03-01 14:18 0 意义不就在于你活着的这个过程吗？
150 微笑面对人参 有些鸟儿是注定不会被关在牢笼里的 2021-06-12 10:28 0 根本没空思考这样的问题
352 优秀 十年营养护肤导师 2020-12-14 19:25 0 生命是在于你自己去寻找发现它的意义，如果你觉得毫无意义，那它就是毫无意义的
161 Ani 营销 2021-02-28 19:56 0 2021年了我还是没有想到问题的答案
294 喵姐姐 设计师 2021-01-04 20:15 0 就像稍纵即逝的烟火，虽然只是一瞬间，但是它存在过，生命的意义就在于当某个瞬间回顾自己的过去时...
'''
词云展示
我们使用stylecloud来绘图，部分代码如下：
有兴趣的小伙伴可以参考：
如何使用python实现一个优雅的词云？（超详细）
defvisual_ciyun():
pic ='../img.jpg'
gen_stylecloud(text=result,
icon_name='fab fa-android',
font_path='msyh.ttc',
background_color='white',
output_name=pic,
custom_stopwords=stop_words
)
print('词云图绘制成功！')
知乎词频图
这里我们使用熊猫来读取数据,并去除空行。使用jieba制作分词
有兴趣的小伙伴可以参考
让人无法拒绝的pandas技巧，简单却好用到爆！
知乎评论出现频率最高的前十个词分别如下:
all_words = [wordforwordinresult.split(' ')iflen(word) >1andwordnotinstop_words]
wordcount = Counter(all_words).most_common(10)
x1_data, y1_data = list(zip(*wordcount))
print(x1_data)
print(y1_data)
'''
('意义', '生命', '活着', '没有', '自己', '死亡', '问题', '我们', '存在', '如果')
(116, 76, 59, 38, 27, 25, 24, 17, 16, 13)
'''
词频气泡图
评论点赞最多
我们将所有评论按照点赞量从大到小排列如下：
评论时间
从时间轴可以分析出，这个问题在2018/08/02 14:26关注度达到了顶峰，
2018/08/03 01：51关注度随着时间推移开始下降
评论内容
前三评论如下：
我不喜欢整理床铺，我妈骂我，我说：反正要搞乱为啥要整理，我妈：你反正要饿，为啥要吃饭
这是个很有意义的问题，想了几年了，我还是没有很好的答案
活着只是为了活着，不为了任何别的
情感分析
我们以点赞最多评论为例分析观众对知乎的一些看法进行简单分析
我们是使用的库是SnowNLP
SnowNLP是一个基于Python的情感分析工具库，可以进行中文分词、词性标注、情感分析、文本分类、文本关键词提取等。
SnowNLP的情感值取值范围为0到1之间，值越大，说明情感倾向越积极。
pinglun ='活着只是为了活着，不为了任何别的'
Sentiment_analysis = SnowNLP(pinglun).sentiments
print(Sentiment_analysis)
'''
0.5941963504212545
'''