Scrapy框架对接selenium模拟知乎登录

概要:之前写了scrapy的基础,准备尝试模拟知乎登录,并爬取问答。但是发现知乎已经做了更新,对参数做了加密处理,身为小白的我只好试试selenium,本篇文章我们来了解scrapy框架如何对接selenium。

1、新建项目

新建项目,以及基本的操作在上一篇文章应该都有了解,如果现在还不了解,

这里献上链接:爬虫框架Scrapy的安装与基本使用

2、模拟知乎登录

首先需要在seetings.py中将ROBOTSTXT_OBEY = True修改为ROBOTSTXT_OBEY = False,ROBOTSTXT_OBEY 可以说是君子协议吧,我们修改成False,否则不能爬取。

然后再spider写下如下代码:

Scrapy框架对接selenium模拟知乎登录_第1张图片

对于selenium不了解的可以查看:selenium的使用(有点意思)

3、运行

这里教大家一个小技巧

我们在项目下创建一个main文件写下如下代码:

Scrapy框架对接selenium模拟知乎登录_第2张图片

即可。

这样我们就不用每次在黑窗口下运行,很麻烦。

总结:

这次只是简单的写了下selenium在scrapy框架中运用,没有用到什么新知识。

希望不懂的可以看下基础。

完。

你可能感兴趣的:(Scrapy框架对接selenium模拟知乎登录)