UC头条(大鱼)文章评论内容抓取

下面以某一篇文章为例,分析UC头条(大鱼)文章评论内容抓取:

UC头条(大鱼)文章评论内容抓取_第1张图片

首先我们点击进入上面的这一篇文章,然后拉到评论内容区,通过抓包分析发现其评论接口为:

https://m.uczzd.cn/iflow/api/v2/cmt/article/13191933289453545149/comments/byhot?uc_param_str=dnnivebichfrmintnwcpgieiwidsudpf&app=ucnews-iflow&sn=16061024813939719977&count=10&ts=-1&hotValue=-1&bid=800&m_ch=500&client_os=webapp&client_version=3.9.6.400&readId=&_=1553764044983&callback=jsonp1

具体参数为:

uc_param_str    dnnivebichfrmintnwcpgieiwidsudpf
app    ucnews-iflow
sn    16061024813939719977
count    10
ts    -1
hotValue    -1
bid    800
m_ch    500
client_os    webapp
client_version    3.9.6.400
readId    
_    1553764044983
callback    jsonp1

经过分析,发现文章与评论的关联是通过以下参数实现:

现在,回过头来分析文章,找到与评论对应的参数。经过分析发现为参数xss_item_id

UC头条(大鱼)文章评论内容抓取_第2张图片

具体内容请看我的GitHub:我的GitHub

你可能感兴趣的:(Web,Crawler)