爬虫进阶-反爬破解1(反爬技术简介、HTTP网络基础知识、搭建代理服务)

目录

一、反爬技术简介

二、HTTP网络基础知识

三、搭建代理服务


一、反爬技术简介

(一)破解Web端反爬技术

1.常见的反爬策略方向:同一时间的请求数量、请求的身份信息、浏览器和爬虫的区别

2.浏览器和爬虫的不同:异步数据加载、前端的渲染技术、逆向分析JS函数代码、浏览器调度和调试能力

(二)内容分类

数据方面:敏感数据加密、编码数据解密

资源方面:代理IP和Cookie的管理维护

前端语法:浏览器的调试能力和逆向分析能力

架构方面:分布式爬虫架构和大数据存储结构

(三)内容推荐

了解HTTP理论基础

学习并掌握一些常见的加密算法

了解一些网站开发技术和数据传输方式

掌握JS基础语法以及浏览器的调试方法

总结:1.提高突破反爬的能力,必须掌握前端反爬的方法和思路

        2.不要一味的想着破解,很多事要考虑时间和效率

        3.爬虫是合法合规的技术,不能影响网站的正常运行

二、HTTP网络基础知识

(一)HTTP基础内容

基于TCP/IP协议,简单易用

HTTP/0.9-单行协议(1991)

无连接、无状态、明文传输的协议

SPDY+HTTP2.0

(二)为安全设计的HTTPS

1.更安全的HTTPS(一)

TCP 三次同步握手

客户端验证服务器数字证书

DH算法协商对称加密算法的密钥、hash算法的密钥

2.更安全的HTTPS(二)

SSL安全加密隧道协商完成

网页以加密的方式传输,用协商的对称加密算法和密钥加密,保证数据的机密性;用协商的hash算法进行数据完整性保护,保证数据不被篡改

(三)HTTP的工作原理

爬虫进阶-反爬破解1(反爬技术简介、HTTP网络基础知识、搭建代理服务)_第1张图片

 (四)为什么HTTP的网站依旧很多

1.HTTP基础内容

HTTPS协议多次握手,导致页面的加载时间延长近50%

申请SSL证书需要钱,功能越强大的证书费用越高

SSL涉及到的安全算法会消耗CPU资源,资源消耗较大

对于数据和身份不敏感的网站,直接使用HTTP即可

2.总结

HTTP协议简单易用,开支少,但是数据不够安全

HTTPS加密是安全的,但是不是无解的,只是破解得花很多时间

(五)HTTP请求过程

爬虫进阶-反爬破解1(反爬技术简介、HTTP网络基础知识、搭建代理服务)_第2张图片

 (六)HTTP请求包结构

URL目标地址:http://www.imooc.com

请求包的方法类型:GET、POST、PUT

请求头的字段信息:User-Agent、Cookie、Content-Type

请求包的主体信息:字符串、图片、文件

(七)HTTP头字段信息

User-Agent:用户代理信息

Cookie:身份和标识信息

Content-Type:接收的数据类型

Refer:来源

总结:爬虫要隐藏自己,必须注意请求头字段的值

可变数据的字段,需要提防

身份字段的数据,一定要仔细检查

三、搭建代理服务

(一)代理IP的分类

静态IP:长效、短效,一次性售卖

动态IP(次数):动态转发,按次数计费

隧道IP:隧道周期计费,IP自行提取,时效自由

动态IP(流量):按流量计费

(二)服务商的代理IP分类一

静态IP:芝麻代理、站大爷、蘑菇代理、极光代理、IPIDEA

动态转发:讯代理

隧道技术:阿布云

流量计费:LiuGuan

账户包月:动态云

(三)服务商的代理IP分类二

可选择地区:越多越好

身份认证:白名单和账号密码加密

提取方式:时间段内的规定量

IP质量:独享、共享

优惠力度:逢年过节搞活动,充多少送多少

(四)代理IP的质量说明

独享IP:价格高,质量好

共享IP:价格低廉,质量不稳定

VPS服务器:重启网络自动更换IP

(五)爬虫IP性价比概括

极高性价比:短效静态IP

高性价比:包月的IP量

一般性价比:长效IP

低性价比:动态转发

总结:爬虫只需要短效的代理IP

        IP质量越高,价格也就越贵

        IP分地区,注意多使用不同地区的代理IP

(六)使用squid自建代理服务

squid是一个高性能的代理缓存服务器

squid支持FTP、HTTPS和HTTP等协议

(七)代理的安全问题

加密和身份认证

绑定系统不同的端口

云服务器的安全组配置

总结:部署squid,准备好配置文件和检查端口

        使用公网服务器搭建服务,注意安全组的配置

        squid一定要加密,不然容易被扫

(八)代理产品需求的场景分类

1.爬虫需求 2.产品运营的数据需求 3.跨地区网络需求

(九)爬虫场景:分布式爬虫

1.时效很短的IP

2.代理IP的需求量大

3,IP归属地要多

(十)软件代理场景:时效适度

1.时效适度的IP,例如12小时、24小时

2.代理IP的需求量在短时间内很少

3.IP归属地聚集

(十一)跨地区网络场景:时效超长

1.时效超长的IP,例如按月,季租赁

2.代理IP的量少,单价非常高

3.IP归属地特定,根据需求找地区

总结:不同的场景,对IP的时效、数量需求都不一样

        提取代理IP的时候,记得选择时长、数量、地区

        代理服务商会监督并对代理IP的使用请求,做日志记录

你可能感兴趣的:(爬虫,爬虫,python,开发语言)