以下是一个简单的示例代码,使用Python的requests和BeautifulSoup库来爬取淘宝商品评价:
import requests
from bs4 import BeautifulSoup
def get_comments(url):
# 发送请求,获取页面内容
response = requests.get(url)
# 解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 定位评价内容所在的标签
comment_tags = soup.find_all('div', class_='comment')
# 遍历评价标签,提取评价内容并打印
for comment in comment_tags:
content = comment.find('div', class_='content').text.strip()
print(content)
# 输入要爬取的商品详情页面链接
url = input("请输入淘宝商品详情链接:")
get_comments(url)
taobao.item_review-获取淘宝天猫商品评论数据接口返回值说明
1.请求方式:HTTP POST GET
2.接口请求地址:api-gw.Taobao.cn/taobao/item_review
3.请求参数
请求参数:num_iid=600530677643&data=&page=1
参数说明:num_iid:淘宝商品ID
sort:排序 0:默认排序 ,1: 最新排序
4.请求示例
# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "api-gw.taobao.cn/taobao/item_review/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=商品ID&data=&page=1"
headers = {
"Accept-Encoding": "gzip",
"Connection": "close"
}
if __name__ == "__main__":
r = requests.get(url, headers=headers)
json_obj = r.json()
print(json_obj)
这个代码需要输入要爬取的淘宝商品详情页面链接,然后会打印出该商品的评价内容。你可以根据自己的需求来对评价内容进行处理或保存。
需要注意的是,淘宝有反爬机制,如果你频繁请求页面可能会被封IP。为了规避这个问题,你可以设置一些延时,或使用一些代理IP来避免被封。