Python实现电商 商品评论采集+词云分析

嗨害大家好鸭!我是小熊猫~

这次来浅浅展示一下最近接单很多的商品评论采集

再多做一个词云分析

Python实现电商 商品评论采集+词云分析_第1张图片


背景

随着电商行业的迅猛发展,
线上销售也成为广大商家销售的一种重要手段。

电商产品每天都会产生大量的交易数据和用户评论数据,
其中包含很多有价值的信息。

例如在亚马逊运营过程中,
非常重要的一个工作就是针对竞品进行分析,
包括分析竞品的标题图片价格页详情面评论等等。
其中,评论的分析,
有助于我们了解竞品的优劣势,
同时掌握客户对于这类产品的关注点,
进而扬长避短。


环境使用

  • Python 3.8
  • Pycharm

模块使用

  • requests
  • jieba 结巴分词
  • wordcloud 词云

数据来源分析

明确需求 <数据来源分析>

  • 采集数据是什么东西? 通过那个url地址得到想要数据的内容
  • 抓包分析: 浏览器自带工具 --> 开发者工具
    I. F12 或者 鼠标右键点击检查 选择 network 点击第二页
    II. 复制评论内容, 在开发者工具里进行搜索, 可以直接找对应评论数据包

网址:

在这里插入图片描述

数据获取代码实现

发送请求

在这里插入图片描述

data = {
###免费领python源码籽料qun:5403 05994
    'productId': '100029079354',
    'score': '0',
    'sortType': '5',
    'page': page,
    'pageSize': '10',
    'isShadowSku': '0',
    'rid': '0',
    'fold': '1',
}
# 模拟浏览器 --> headers 请求头
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
# 发送请求 requests 模块 get 方法<请求方式>
# 等号左边: url/params/headers 属于get函数里面形式参数 等号右边 url/data/headers 传入进去参数/变量
response = requests.get(url=url, params=data, headers=headers)

获取数据, 服务器返回响应数据

  • response 响应对象
  • response.text 获取响应文本数据
  • response.json() 获取响应json字典数据

解析数据

字典数据类型:
通过键值对提取数据内容
<字典取值> 根据冒号左边的内容[键],
提取冒号右边的内容[值]

# for循环遍历 把列表里面元素一个一个提取出来
for i in response.json()['comments']:
    content = i['content']
    print(content)

保存数据

with open('口红评论.txt', mode='a', encoding='utf-8') as f:
    # 写入数据内容
    f.write(content)
    f.write('\n')
###免费领python源码籽料qun:5403 05994

Python实现电商 商品评论采集+词云分析_第2张图片

词云代码

# 导入结巴分词  jieba 模块国人开源的
import jieba
# 导入词云
import wordcloud
# 导入读取图片
import imageio
# 读取图片内容
py = imageio.imread('img\\矢量图5.png')

# 读取文件 返回对象 mode 方式模式 r 读 a追加写入保存 mode 默认是r
f = open('口红评论.txt', encoding='utf-8')
# 读取内容
text = f.read()
# 分词 --> 把完整一句话分成很多个单词
string = ' '.join(jieba.lcut(text))
# 词云图 配置
wc = wordcloud.WordCloud(
    width=1000, # 宽
    height=700,  # 高
    font_path='msyh.ttc', # 词云字体
    # 设置停用词, 把没有词汇, 停用
    stopwords={'的', '了', '很', '也'},
    # 设置背景颜色
    # background_color='pink',
    contour_width=5,
    contour_color='pink',
    mask=py
)
# string 数据传入进去
wc.generate(string)
# 导入词云图
wc.to_file('有形状的词云黑.png')
print(string)

Python实现电商 商品评论采集+词云分析_第3张图片

你可能感兴趣的:(python基础,python基础知识,python案例,python,开发语言)