一.项目问题：
1. 你写爬虫的时候都遇到过什么反爬虫措施，你最终是怎样解决的
1、基于User-agent反爬
2、基于IP地址进行反爬
2. 你写爬虫的时候 使用的什么框架 选择这个框架的原因是什么
python中的爬虫框架：
pyspider、crawley
scrapy，这是一个异步框架，基于python的web爬虫框架，抓取web站点并从页面提取结构化的数据
使用scrapy的原因：
容易构建大规模的抓取项目
异步处理请求的速度快
使用自动调节机制自动调整爬取的速度
二.框架问题：
1.scrapy的基本结构（五个部分都是什么，请求发出去的整个流程）
调度器
下载器
爬虫
实体管道
引擎
流程：
首先爬虫将需要发送请求的url通过引擎交给调度器
排序处理之后，经过ScrapyEngine，DownloadeMiddlewares（这里面有User_Agent、Proxy代理）交给Downloader
Downloader向互联网发送请求，并接受下载相应，将响应经过ScrapyEngine，可以选择交给Spiders；
Spiders处理response，提交数据并将数据经过ScrapyEngine交给ItemPipeline进行保存
提取url重新经过ScrapyEngine交给Scheduler进行下一次循环。直到Url请求程序停止结束
2.scrapy的去重原理（指纹去重到底是什么原理）
Scrapy本身是自带一个中间件的，在源码中可以找到一个dupefilters.py的去重器
需要将dont_filter设置为False设置为False开启去重，默认就是False去重的，要是改成True的话就是没有开启去重
对于每一个url的请求，调度器都会根据请求得相关信息加密得到一个指纹信息，并且将指纹信息和set集合中的指纹信息进行比对，如果set集合中已经存在了这个数据，那么就不再就不再将这个request放入到队列中，如果set集合中不存在这个加密后的数据的话，就将这个request对象放入到队列中等待被调用
3.scrapy中间件有几种类，你用过哪些中间件
downloadermiddleware
spidermiddleware
4.scrapy中间件在哪里起的作业（面向切片编程）
三.代理问题：
1.为什么会用到代理
爬虫程序从本质上讲也是浏览网页的用户，只不过不是那么的守规矩而已，服务器通常不喜欢这类型的用户，所以就会采取各种手段识别和禁止爬虫用户。比较常见的就是通过判断访问频率发现某个IP访问异常就会封禁该IP地址，但是做爬虫的就是要采集大量的数据，如果你的爬虫和一个普通人的访问频率差不多，那么你的爬虫存在意义也就不大了，所以这时候就凸现了代理IP的作用了，有些代理能够有效的隐藏真实的IP，突破服务器的反爬虫机制，同时降低你的爬虫速度，那样的话IP被封禁的概率就会大大降低了
2.代理怎么使用（具体代码， 请求在什么时候添加的代理）
在下载中间件中进行设置，设置完之后，需要在settings中对设置的中间件进行调用
3.代理失效了怎么处理
设置线程池，要是其中的某个代理IP失效了就将它从这里面移除
4、如何设置代理
内置添加代理功能os.environ['HTTP_PROXY'] = '代理IP'
自定义下载中间件在中间件中进行配置
四.验证码处理：
1.登录验证码处理
2.爬取速度过快出现的验证码处理
可以在适当的位置模拟一下延迟
3.如何用机器识别验证码
利用极验进行破解
五.模拟登陆问题：
1.模拟登陆流程
有些网站要求你登录之后才会将数据从服务端发送给你，这时候你就需要模拟登录的流程，让爬虫来进行自动登录，一般用的是selenium，但是现在出现了pyppeteer，
对登录页面进行请求，从请求的页面源码中解析下载验证图片
使用打码平台对验证进行识别
基于登录按钮发起一个post请求（处理参数）
2.cookie如何处理
在模拟登录之后，将获取到的cookie进行格式化，然后保存在当前文件夹中的某个位置，后面需要对网页解析的时候，就可以直接读取这个文件来进行使用了
3.如何处理网站传参加密的情况
六.分布式：
1.分布式原理
虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取的效率还是有限制的，分布式爬虫就是将多台主机组合在了一起，来共同完成一个爬取任务，会大大提高效率
2.分布式如何判断爬虫已经停止了
如果是利用scrapy框架进行抓取的时候，可以通过对请求队列的判断，如果请求队列为空的话就代表当前爬虫已经运行结束了
如果是单个爬虫的话就需要对
3.分布式的去重原理
七.数据存储和数据库问题：
1.关系型数据库和非关系型数据库的区别
2.爬下来数据你会选择什么存储方式，为什么
mongodb，非关系型数据库，就是一个个的kv键值对
3.各种数据库支持的数据类型，和特点
4.是否支持事务...
八.Python基础问题：
1.Python2和Python3的区别，如何实现python2代码迁移到Python3环境
2.Python2和Python3的编码方式有什么差别
3.迭代器，生成器，装饰器
4.Python的数据类型
九.协议问题：
1.http协议，请求由什么组成，每个字段分别有什么用，https和http有什么差距
请求是由请求首行（标识HTTP协议的版本，当前请求的方式）、请求头（一对kv键值对）、\r\n、请求体（post请求携带的数据）
http和https之间多了一个SSL加密协议
2.证书问题
https是HTTP+SSL的简称，是在HTTP传输方式的基础上将之前的明文进行了加密传输，在传输之前就会确定信息的加密方式和密钥，在传输过程中即使是被捕获或者伪造，那么也能保证信息不被泄露
而爬虫就是伪装成一个浏览器，发送请求给服务器，参与了整个过程，所以即使是https链接也可以抓取，但是前提是伪造的这个客户端拥有正确的SSL证书
当爬虫在运行过程中要是碰到SSL error的错误，一般是本地证书或者相关的SSL库没有正确的安装，服务器使用了自己制作的CA证书，没有权威机构的认证
3.TCP，UDP各种相关问题
十.数据提取问题：
1.主要使用什么样的结构化数据提取方式，可能会写一两个例子
2.正则的使用
3.动态加载的数据如何提取
4.json数据如何提取
十一.算法问题：
1.你们要善用Python的数据类型，对Python的数据结构深入了解。、
mongodb中的分布式和单只
JS逆向解析
过程：
如何找到登录接口
登录form表单中的action对应的url的地址
通过抓包发现，在这个url地址中和请求体中均是有参数的，切换到手机版参数的个数变少然后再分析JS
确定JS的位置
通过点击按钮，然后点击Event Listener，部分网站可以找到绑定的事件，对应的只需要点击就可以跳转到JS的位置就可以了
部分网站的按钮可能没有绑定JS事件监听，那么这个时候可以通过搜索请求中的关键字来找到JS的位置
观察JS的执行过程
找到JS的位置之后，我们可以通过观察JS的位置，找到JS具体好是如何执行的，后续我们可以通过python程序来模拟JS的执行，或者是使用类似js2py直接把JS代码转化为python 程序去执行
观察JS的执行过程最简单的方式就是添加断点
添加断点之后继续点击登录，每次程序在断点的位置上都会停止，如果这一行有变量产生的话，都会将变量的结果展示在Scoope中
直到JS的执行方法
观察代码知道需要哪些参数
1、我们要登录需要对密码进行加密和获取rkey字段的值
2、rkey字段的值我们直接发送请求rkey请求就可以获取到了
3、密码是先反转然后使用RSA进行加密，JS代码很复杂，我们使用python代码来执行JS实现
1、使用session发送rKey获取登录需要的信息
2、根据获取信息对密码进行加密
3、使用session发送登录请求
scrapy中如何实现暂停爬虫
一个把调度请求保存在磁盘的调度器
一个把访问请求保存在磁盘的副本过滤器[duplicates filter]
一个能持续保持爬虫（键值对）的扩展
job工作路径
要启用持久化支持，只需要通过JOBDIR设置job directory选项
这个路径将会存在所有的请求数据来保持一个单独任务的状态，要注意的是这个目录不允许被不同的spider共享，甚至是同一个spider的不同jobs/runs也不行，也就是说这个目录就是存储一个单独job的状态信息
scrapy中的pipelines工作原理
scrapy通过pipeline模块来执行保存数据的操作
在创建的scrapy项目中自动创建了一个pipeline.py文件，同时创建了一个默认的pipeline类，我们可以根据需要自定义Pipeline类，然后在settings中进行配置就可以了
scrapy的pipelines如何丢弃一个item对象
通过raise DropItem方法
scrapy中的爬虫中间件和下载中间件的作用
scrapy_redis组件的作用
实现了分布式爬虫，url去重、调度器、数据持久化
scheduler：调度器
dupefilter：URL去重规则，被调度器使用
pipeline：数据持久化
scrapy-redis组件中如何实现多任务的去重
内部进行配置，连接redis数据库
去重的规则通过redis的集合完成
去重规则中将url转换成唯一标识，然后在redis中检查是否已经在集合存在了
正反向代理：
正向代理：
客户端出去找一个代理去访问服务器，服务器不知道你的真实的IP
反向代理：
服务器找一个代理给你响应，你不知道服务器的真实IP