爬虫基本面试题
- 你用过的Python爬虫模型或框架有哪些？各有什么优缺点？
Python自带：urllib，urllib2
第 三 方：requests
框 架：Scrapy
urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。
urllib2.：urllib2.urlopen可以接受一个Request对象或者url，（在接受Request对象时候，并以此可以来设置一个URL 的headers），urllib.urlopen只接收一个url
urllib 有urlencode,urllib2没有，因此总是urllib，urllib2常会一起使用的原因
scrapy是封装起来的框架，他包含了下载器，解析器，日志及异常处理，基于多线程， twisted的方式处理，对于固定单个网站的爬取开发，有优势，但是对于多网站爬取 100个网站，并发及分布式处理方面，不够灵活，不便调整与括展。
request 是一个HTTP库， 它只是用来，进行请求，对于HTTP请求，他是一个强大的库，下载，解析全部自己处理，灵活性更高，高并发与分布式部署也非常灵活，对于功能可以更好实现.
2，scrapy和scrapy-redis的区别？
scrapy是一个爬虫通用框架，但不支持分布式，scrapy-redis是为了更方便的实现scrapy分布式爬虫，而提供了一些以redis为基础的组件
为什么会选择redis数据库？
因为redis支持主从同步，而且数据都是缓存在内存中，所以基于redis的分布式爬虫，对请求和数据的高频读取效率非常高
什么是主从同步？
在Redis中，用户可以通过执行SLAVEOF命令或者设置slaveof选项，让一个服务器去复制（replicate）另一个服务器，我们称呼被复制的服务器为主服务器（master），而对主服务器进行复制的服务器则被称为从服务器（slave），当客户端向从服务器发送SLAVEOF命令，要求从服务器复制主服务器时，从服务器首先需要执行同步操作，也即是，将从服务器的数据库状态更新至主服务器当前所处的数据库状态
3，scrapy的优缺点？为什么要选择scrapy框架？
优点：采取可读性更强的xpath代替正则
强大的统计和log系统
同时在不同的url上爬行
支持shell方式，方便独立调试
写middleware,方便写一些统一的过滤器
通过管道的方式存入数据库
缺点：基于python爬虫框架，扩展性比较差，基于twisted框架，运行中exception是不会干掉reactor，并且异步框架出错后是不会停掉其他任务的，数据出错后难以察觉
4，scrapy和requests的使用情况？
requests 是 polling 方式的，会被网络阻塞，不适合爬取大量数据
scapy 底层是异步框架 twisted ，并发是最大优势
5，描述一下scrapy框架的运行机制？
从start_urls里面获取第一批url发送请求，请求由请求引擎给调度器入请求对列，获取完毕后，调度器将请求对列交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理，如果提取出需要的数据，则交给管道处理，如果提取出url，则继续执行之前的步骤，直到多列里没有请求，程序结束。
6，写爬虫使用多进程好，还是用多线程好？
IO密集型代码(文件处理、网络爬虫等)，多线程能够有效提升效率(单线程下有IO操作会进行IO等待，造成不必要的时间浪费，而开启多线程能在线程A等待时，自动切换到线程B，可以不浪费CPU的资源，从而能提升程序执行效率)。在实际的数据采集过程中，既考虑网速和响应的问题，也需要考虑自身机器的硬件情况，来设置多进程或多线程
7，常见的反爬虫和应对方法？
1. 基于用户行为，同一个ip段时间多次访问同一页面
利用代理ip，构建ip池
2. 请求头里的user-agent
构建user-agent池（操作系统、浏览器不同，模拟不同用户）
3. 动态加载（抓到的数据和浏览器显示的不一样），js渲染
模拟ajax请求，返回json形式的数据
4，selenium / webdriver 模拟浏览器加载
5，对抓到的数据进行分析
6，加密参数字段
会话跟踪【cookie】
防盗链设置【Referer
8，分布式爬虫主要解决什么问题？
面对海量待抓取网页，只有采用分布式架构，才有可能在较短时间内完成一轮抓取工作。
它的开发效率是比较快而且简单的。
9，爬取时弹出对话框让验证，又该怎么处理？
HTTP请求的basic认证
客户端将输入的用户名密码用Base64进行编码后，采用非加密的明文方式传送给服务器。
Authorization: Basic xxxxxxxxxx.
10，你在爬虫过程中，都是怎么解决反爬的，爬取多少数据，用了多长时间？
11，爬取这些数据都用来做什么的？怎么交付给公司？客户是谁？爬取数据的影响因素？
当时我们公司核心业务是网站开发，还有数据的采集，会经常需要一些数据，采集的数据一 是为了满足公司需求，二是我们有合作的公司，负责给他们提供他们所需要的数据，（根据客户需求做好 相应格式的数据文件，交付给项目组长）（数据库导出）
影响因素：机器的性能及带宽，代码质量，爬取时的反爬机制
12，什么是爬虫，为什么要用爬虫?
用于在网络上采集数据的程序，可以用任何语言开发，python更加方便快捷高效一些。
爬虫的目的：采集一些需要的数据。
为什么python更适合写爬虫程序？python中封装了很多爬虫库，如urllib ,re,bs,scrapy等，开发效率更高
13，爬虫的基本流程？
1，浏览器发起请求，可能包含请求头等信息，等待服务器相应
2，获取服务器响应内容，可能是网页文本（html、json代码），图片二进制、视频二进制等
3，解析内容（正则、xpath、json解析等 ）
4， 保存数据（本地文件、数据库等）
14，如何提高爬取效率？
爬虫下载慢主要原因是阻塞等待发往网站的请求和网站返回
1，采用异步与多线程，扩大电脑的cpu利用率；
2，采用消息队列模式
3，提高带宽
15，request请求方式中的post、get有什么区别
GET一般用于获取/查询资源信息，而POST一般用于更新资源信息
get是在url中传递数据，数据放在请求头中，post是在请求体中传递数据
get安全性非常低，post安全性较高，但是get执行效率却比Post方法好
16，模拟登陆原理？
因为http请求是无状态的，网站为了识别用户身份，需要通过cookie记录用户信息（用户、密码），这些信息都会在手动登陆时记录在post请求的form-data里，那么在爬虫时候只需要将这些信息添加到请求头里即可。
17，分布式原理？
多台机器多个spider 对多个 url 同时进行处理
分布式如何判断爬虫已经停止了？
18，下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares)介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应
19，爬虫协议？
Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。
20，爬虫的底层原理？
21，scrapy中间件有几种类，你用过那些中间件？
scrapy的中间件理论上有三种(Schduler Middleware,Spider Middleware,Downloader Middleware)
DownloaderMiddleware主要处理请求Request发出去和结果Response返回的一些回调，
比如说你要加UserAgent，使用代理，修改refferer（防盗链），添加cookie，或者请求异常超时处理啥的
常用： 1.爬虫中间件Spider Middleware
主要功能是在爬虫运行过程中进行一些处理.
2.下载器中间件Downloader Middleware
主要功能在请求到网页后,页面被下载时进行一些处理.
22，代理问题
1.为什么会用到代理
将真是IP隐藏起来（请求过于太频繁的话，ip可能会被禁止）
2.代理怎么使用（具体代码，请求在什么时候添加的代理）
proxy_handler = ProxyHandler({'http': 'http://183.159.89.204:18118'})
# 构建一个Opener对象
proxy_opener = build_opener(proxy_handler)
# 使用自定义opener访问服务器数据，得到相应
response = proxy_opener.open(request)
3.代理失效了怎么处理
23，验证码处理
1.登陆验证码处理
2.爬取速度过快出现的验证码处理
3.如何用机器识别验证码
24，模拟登陆问题
1.模拟登陆流程
因为http请求是无状态的，网站为了识别用户身份，需要通过cookie记录用户信息（用户、密码），这些信息都会在手动登陆时记录在post请求的form-data里，那么在爬虫时候只需要将这些信息添加到请求头里即可
2.cookie如何处理
同上
3.如何处理网站传参加密的情况
对抓包数据进行分析，这要 在具体的项目中去说明
25，数据存储和数据库问题
1.关系型数据库和非关系型数据库的区别
1.关系型数据库通过外键关联来建立表与表之间的关系，
2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定
2.爬下来数据你会选择什么存储方式，为什么
3.各种数据库支持的数据类型，和特点，比如：redis如何实现持久化，mongodb
是否支持事物等 。。
26，协议问题
# 爬虫从网页上拿数据肯定需要模拟网络通信的协议
1.http协议，请求由什么组成，每个字段分别有什么用,https和http有什么差距
2.证书问题
3.TCP,UDP各种相关问题
27，数据提取问题
1.主要使用什么样的结构化数据提取方式
xpath 正则 bs4等
2.动态加载的数据如何提取
模拟ajax请求，返回json形式的数据
3.json数据如何提取
python中内置了json模块,提供了dumps、dump、loads、load，用于字符串 和 python数据类型间进行转换。然后再对数据用递归，正则，或者一层一层获取的方法得到数据
28，redis数据库有哪几种数据结构？
5种数据结构：
String字符串
List列表
Set集合
Hash散列
Zset有序集合
29，使用redis搭建分布式系统时如何处理网络延迟和网络异常？
由于网络异常的存在，分布式系统中请求结果存在“三态”的概念，即三种状态：“成功”、“失败”、“超时（未知）”
当出现“超时”时可以通过发起读取数据的操作以验证 RPC 是否成功（例如银行系统的做法）
另一种简单的做法是，设计分布式协议时将执行步骤设计为可重试的，即具有所谓的“幂等性”
也可设置一个超时时间，如果超过该时间，可以try出去。
30，如果对方网站反爬取，封IP了怎么办？
1，放慢抓取熟速度，减小对目标网站造成的压力，但是这样会减少单位时间内的数据抓取量
2，使用代理IP（免费的可能不稳定，收费的可能不划算）
31，关于防盗链？
部分服务器会检查 http 请求头的 Referer 字段来判断你是否是从指定页面跳转而来的，以达到防盗链的作用。因此在伪装请求头部的时候，该字段也是不容忽视的。
-
32，对__if__name__ == 'main'的理解陈述__name__是当前模块名，当模块被直接运行时模块名为_main_，也就是当前的模块，当模块被导入时，模块名就不是__main__，即代码将不会执行。
33Python里面如何拷贝一个对象？（赋值，浅拷贝，深拷贝的区别）
赋值（=），就是创建了对象的一个新的引用，修改其中任意一个变量都会影响到另一个。
浅拷贝：创建一个新的对象，但它包含的是对原始对象中包含项的引用（如果用引用的方式修改其中一个对象，另外一个也会修改改变）{1,完全切片方法;2，工厂函数，如list();3，copy模块的copy()函数}
深拷贝：创建一个新的对象，并且递归的复制它所包含的对象（修改其中一个，另外一个不会改变）{copy模块的deep.deepcopy()函数
try…except…except…else…
执行try下的语句，如果引发异常，则执行过程会跳到except语句。对每个except分支顺序尝试执行，如果引发的异常与except中的异常组匹配，执行相应的语句。如果所有的except都不匹配，则异常会传递到下一个调用本代码的最高层try代码中。
try下的语句正常执行，则执行else块代码。如果发生异常，就不会执行如果存在finally语句，最后总是会执行。35、Python中__new__与__init方法的区别
__new__:它是创建对象时调用，会返回当前对象的一个实例，可以用_new_来实现单例
__init__:它是创建对象后调用，对当前对象的一些实例初始化，无返回值
36. 常用的网络数据爬取方法
-
正则表达式
-
Beautiful Soup
-
Lxml
37、遇到过得反爬虫策略以及解决方法
1.通过headers反爬虫
2.基于用户行为的发爬虫：(同一IP短时间内访问的频率)
3.动态网页反爬虫(通过ajax请求数据，或者通过JavaScript生成)
4.对部分数据进行加密处理的(数据是乱码)
解决方法：
对于基本网页的抓取可以自定义headers,添加headers的数据
使用多个代理ip进行抓取或者设置抓取的频率降低一些，
动态网页的可以使用selenium + phantomjs 进行抓取
对部分数据进行加密的，可以使用selenium进行截图，使用python自带的pytesseract库进行识别，但是比较慢最直接的方法是找到加密的方法进行逆向推理。38、urllib 和 urllib2 的区别
urllib 和urllib2都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。urllib不可以伪装你的User-Agent字符串。
urllib提供urlencode()方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。39、列举网络爬虫所用到的网络数据包，解析包
-
网络数据包 urllib、urllib2、requests
-
解析包 re、xpath、beautiful soup、lxml
40、POST与 GET的区别
-
GET数据传输安全性低，POST传输数据安全性高，因为参数不会被保存在浏览器历史或web服务器日志中；
-
在做数据查询时，建议用GET方式；而在做数据添加、修改或删除时，建议用POST方式；
-
GET在url中传递数据，数据信息放在请求头中；而POST请求信息放在请求体中进行传递数据；
-
GET传输数据的数据量较小，只能在请求头中发送数据，而POST传输数据信息比较大，一般不受限制；
-
在执行效率来说，GET比POST好
41、什么是lambda函数？它有什么好处?
lambda 表达式，通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用，也就是指匿名函数
lambda函数：首要用途是指点短小的回调函数42. 介绍一下except的用法和作用？
-
-
try…except…except…[else…][finally…]
执行try下的语句，如果引发异常，则执行过程会跳到except语句。对每个except分支顺序尝试执行，如果引发的异常与except中的异常组匹配，执行相应的语句。如果所有的except都不匹配，则异常会传递到下一个调用本代码的最高层try代码中。
try下的语句正常执行，则执行else块代码。如果发生异常，就不会执行
如果存在finally语句，最后总是会执行
except: #捕获所有异常
except: <异常名>: #捕获指定异常
except:<异常名 1, 异常名 2> : 捕获异常 1 或者异常 2
except:<异常名>,<数据>:捕获指定异常及其附加的数据
except:<异常名 1,异常名 2>:<数据>:捕获异常名 1 或者异常名 2,及附加的数据
答：pass语句不会执行任何操作，一般作为占位符或者创建占位程序，whileFalse:pass
44.介绍一下Python下range()函数的用法？
答：列出一组数据，经常用在for in range()循环中
45.Python里面如何生成随机数？
答：random模块
随机整数：random.randint(a,b)：返回随机整数x,a<=x<=b
random.randrange(start,stop,[,step])：返回一个范围在(start,stop,step)之间的随机整数，不包括结束值。
随机实数：random.random( ):返回0到1之间的浮点数
random.uniform(a,b):返回指定范围内的浮点数。
46.有没有一个工具可以帮助查找python的bug和进行静态的代码分析？
答：PyChecker是一个python代码的静态分析工具，它可以帮助查找python代码的bug, 会对代码的复杂度和格式提出警告
Pylint是另外一个工具可以进行codingstandard检查
47.如何在一个function里面设置一个全局的变量？
答：解决方法是在function的开始插入一个global声明：
def f()
global x
-
-
last：爬虫中遇到的错误，是怎么解决的？
-
1，获取json数据之后，把Json格式字符串解码转换成Python对象时，在json.loads的时候出错？
要注意被解码的Json字符的编码，如果传入的字符串的编码不是UTF-8的话，需要指定字符编码的参数encoding
2，使用urllib2时，经常遇到编码问题
3，有时会遇到503错误
主要是指服务器判断出你是爬虫程序，所以需要改变一下请求头，设置一下时间的间隔
4，bs4库解析时遇到的问题？
html 页面的数据经过Beautiful Soup库的解析后，部分html源码丢失，找不到想要的数据了
查看官方文档，bs 库支持的解析库有 lxml, html5lib 和 html.parser。用的最多的是 lxml，因为它的解析速度快，并且容错能力强，默认也是使用该解析器。
出现解析后源码丢失的可能原因有 2 个：
BeautifulSoup 有时候会遇到非法的，不支持的 html 源码而导致无法解析或无法正常解析 html；
处理的文档太大，而处理的解析器缓存不够造成的信息丢失。
这里换一个解析器，换成 html.parser 就可以了。
摘自：城北有梦https://www.jianshu.com/p/db9046b58173
-
hurt- https://blog.csdn.net/weixin_40907382/article/details/80480675
-
hackerie https://blog.csdn.net/hackerie/article/details/79077634
-