古人说:成功的关键在于坚持不懈,所以小编晚上跟着B站一起学习了,并写出了这篇文章,学习在于努力
本文获取的是携程旅游网站中不同景点的评论数据,
1.导入相应的模块
import requests
import json
import csv
2.定义postUrl变量为携程网站评论数据请求的URL。接着定义urls列表,包含不同景点的poiId和名称
postUrl = "https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList"
# 将景点poiId和名称添加到此处
urls = [
['76865', '星海广场'],
['75628', '棒棰岛'],
['75633', '大连森林动物园'],
['60514877', '三寰牧场'],
['75635', '劳动公园'],
['23035466', '东港音乐喷泉广场'],
['79494', '海之韵广场'],
['87618', '金石滩度假区'],
['87748', '滨海路'],
['87647', '滨海国家地质公园'],
['24845945', '莲花山观景台'],
['92196', '白玉山景区'],
['13301914', '大连天门山国家森林公园'],
]
3.遍历urls列表,对于每个景点,首先定义data_pre变量,包含评论数据请求的参数,其中poiId为当前景点的poiId
for id in urls:
print("正在爬取景点:", id[1])
# 通过返回值判断总评论数,每页9条,计算出总页数,对大于2000条的数据只爬取两千条
data_pre = {
"arg": {
"channelType": 2,
"collapseType": 0,
"commentTagId": 0,
"pageIndex": 1,
"pageSize": 10,
"poiId": id[0],
"sourceType": 1,
"sortType": 3,
"starType": 0
},
"head": {
"cid": "09031069112760102754",
"ctok": "",
"cver": "1.0",
"lang": "01",
"sid": "8888",
"syscode": "09",
"auth": "",
"xsid": "",
"extension": []
}
}
4.发送post请求获取该景点评论的总页数,将返回的数据解析为json格式,从中获取评论总数,计算出总页数total_page。如果总页数大于300,则将total_page设置为300。接着遍历1到total_page,对于每一页,定义data变量,包含评论数据请求的参数,其中pageIndex为当前页数。
html = requests.post(postUrl, data=json.dumps(data_pre)).text
html = json.loads(html)
# 确定总页数总页数
total_page = int(html['result']['totalCount'] / 10)
if total_page > 300:
total_page = 300
# 遍历查询评论
print("总页数:", total_page, "爬取中")
5.发送post请求获取评论数据,将返回的数据解析为json格式,从中获取每条评论的内容result,并将其保存到csv文件中。最后输出该景点的名称和爬取完成的提示信息。
# 创建写入csv文件
path = '景点数据.csv'
xuhao = 0
with open(path, 'w', newline='', encoding='utf-8') as f:
file = csv.writer(f)
file.writerow(['序号', '景区ID', '景区名称', '评论'])
for page in range(1, int(total_page) + 1):
data = {
"arg": {
"channelType": 2,
"collapseType": 0,
"commentTagId": 0,
"pageIndex": page,
"pageSize": 10,
"poiId": id[0],
"sourceType": 1,
"sortType": 3,
"starType": 0
},
"head": {
"cid": "09031069112760102754",
"ctok": "",
"cver": "1.0",
"lang": "01",
"sid": "8888",
"syscode": "09",
"auth": "",
"xsid": "",
"extension": []
}
}
html = requests.post(postUrl, data=json.dumps(data)).text
html = json.loads(html)
# 获取评论
for j in range(10):
result = html['result']['items'][j]['content']
file.writerow([xuhao, id[0], id[1], result])
print([xuhao, id[0], id[1], result])
xuhao += 1
print(id[1], "爬取完成")
常用的获取数据工具包括Scrapy、BeautifulSoup、Selenium等。Scrapy是一个Python编写的开源网络爬虫框架,可以快速高效地进行数据爬取,支持多线程、分布式爬取等功能。BeautifulSoup是一个Python库,可以快速解析HTML和XML文档,提取需要的信息。Selenium是一个自动化测试工具,可以模拟人类操作浏览器,对于一些需要登录或滑动验证码的网站爬取非常有用。
除了工具,还有一些常用的技巧可以提高数据爬取的效率。例如,设置合适的请求头可以避免被网站反爬虫机制拦截;使用代理IP可以避免频繁访问同一网站被封禁IP;使用多线程或异步IO可以提高爬取速度等等。同时,还需要注意遵守网站的robots协议和法律法规,不进行恶意爬取和侵犯隐私等行为。