使用Python爬虫爬取小红书完全过程

通过charles抓包对小程序进行分析

我们打开小红书小程序，随意搜索一个关键词

你可以发现列表中的数据已经被我们抓到了mitmproxy中提供这样的方法给我们，我们可以通过request对象截取到request headers中的url、cookies、host、method、port、scheme等属性

这不正是我们想要的吗？

我们直接截取"authorization"和"x-sign" 这两个参数

然后往headers里填入

整个就完成了。

以上是我们整个的爬取思路，下面给大家讲解一下代码怎么写

其实代码写起来并不难

首先，我们必须截取到搜索api的流，这样我们才能够对其进行获取信息

if 'https://www.xiaohongshu.com/f...' in flow.request.url:
我们通过判断flow的request里面是否存在搜索api的url

来确定我们需要抓取的请求

authorization=re.findall("authorization',.?'(.?)')",str(flow.request.headers))[0]
x_sign=re.findall("x-sign',.?'(.?)')",str(flow.request.headers))[0]
url=flow.request.url
v:ping0206guo

编辑于 2022-03-24 11:11