知乎问题答案图片爬虫(一)

最近跟朋友斗图,发现图片严重不足,突发奇想想用Python实现一个从知乎里面抓取相关问题下的所有图片的小工具。通过辛勤的上网搜索各位大神的工作,结合自己的实验终于初步实现了一个可以使用的图片爬虫工具。小爬虫虽然还很弱小,但总算是破茧而出了。

一开始我是从知乎问题主页上获取图片,比如这个:https://www.zhihu.com/question/28586345 通过简单的request.get可以获取到该问题首页的图片,但是因为知乎对问题列表有分页处理,从首页上只能得到第一页的答案,所以只能另想别的办法了。

通过Chrome抓取数据包发现一些端倪,如下图


原来知乎调用的是这个URL来获取答案列表的。我尝试直接get这个URL结果得到返回结果提示权限错误,估计是没有登录造成的,因此接下来第一步就是--小爬虫要登录知乎。

你可能感兴趣的:(知乎问题答案图片爬虫(一))