有反爬机制就爬不了吗?那是你还不知道反反爬!

不知道你们在用爬虫爬数据的时候是否有发现,越来越多的网站都有自己的反爬机制,抓取数据已经不像以前那么容易,目前常见的反爬机制主要有以下几种:

  1. 数据是通过动态加载的,比如微博,今日头条,b站
  2. 需要登录,需要验证码,比如铁路12306,淘宝,京东
  3. 请求次数频繁,IP地址在同一时间访问次数过多,导致IP被封
  4. 数据屏蔽方式,比如访问的数据不在源码中,数据隐藏在js中,比如今日分享,b站

爬虫与反爬虫一直以来就像是左右手互博,你有反爬机制,我就有反反爬技术,即见即可爬,道高一尺魔高一丈。

在这里插入图片描述

今天就为大家详细介绍网站的反爬虫机制和实用的应对方法,一般网站从三个方面反爬虫:

1.用户请求的Headers
2.用户行为
3.网站目录和数据加载方式

前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

在这里插入图片描述


一、从用户请求的Headers反爬虫

这种是最常见的反爬机制,在访问某些网站的时候,网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫,用来作为反爬取的一种策略。

那我们就需要伪装headers。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。

在这里插入图片描述

如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。

往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加。

对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

例如打开搜狐首页,先来看一下Chrome的头信息(F12打开开发者模式)如下:

image-20210322173358546

如图,访问头信息中显示了浏览器以及系统的信息(headers所含信息众多,其中User-Agent就是用户浏览器身份的一种标识,具体可自行查询)

Python中urllib中的request模块提供了模拟浏览器访问的功能,代码如下:

from urllib import request 

url = http://www. baidu.com 
# page= requestRequest (url)
# page add header (' User-Agent',' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebki
headers ={'User-Agent': ' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36'}
page = request Request(url, headersheaders)
page_info = request urlopen(page). read().decode('utf-8')
print(page_info)

可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问

urllib.request Request()
urllib.request Request(url, data=None, headers={}, origin req host=None, unverifiable )

其中headers是一个字典,通过这种方式可以将爬虫模拟成浏览器对网站进行访问。

在这里插入图片描述


二、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。

这种防爬,需要有足够多的ip来应对。

(1)方法1

大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

在这里插入图片描述

编写爬虫代理:

步骤:

1.参数是一个字典{‘类型’:‘代理ip:端口号’}   proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener   opener=urllib.request.build_opener(proxy_support)
3.安装opener   urllib.request.install_opener(opener)
4.调用opener   opener.open(url)

用大量代理随机请求目标网站,应对反爬虫

import urllib request 
import random 
import re

url='http://www. whatismyip. com. tw '
iplist=['121.193.143.249:88',"112.126.65.193:88',122.96.59.184:82',115.29.98.139:9]
        
proxy_support = urllib. request Proxyhandler({'httP': random choice(iplist)})
opener = urllib.request.build_opener(proxy_suppor)
opener.addheaders=[(' User-Agent, ' Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36'
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode(' utf-8)
                              
pattern = re.compile('

(.*?)

.*?

(,*?)

'
) iterms=re.findall(pattern, html) for item in iterms: print(item[0]+:"+item[1])
(2)方法2

对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳。

在这里插入图片描述


三、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

比如获取淘宝的个人详情地址:

from selenium import webdriver 
import time 
import re 

drive = webdriver.PhantomJs(executable_path = ' phantomjs-21.1-linux-x86 64/bin/phanto drive.get('https://mm. taobaocom/self/modelinfohtm? userid=189942305& iscoment=fal)

time. sleep(5)

pattern = re.compile(r'<div. *? mm-p-domain-info>*? class="mm-p-info-cell clearfix">.
html = drive.page_source.encode(' utf-8,' ignore')
items=re.findall(pattern, html)
for item in items:
	print(item[0], 'http':+item[1])
drive.close()

在这里插入图片描述


四.总结

最后给大家总结一下前面所讲的反爬机制应对策略(反反爬):

  1. 伪装浏览器

  2. 使用代理IP

  3. 抓包分析突破异步加载 / selenium自动化测试工具

  4. 添加cookie

最后嘱咐大家一句,爬虫世界确实很有意思,技术是无罪的,学习是可以的,但还是实际操作就要适可而止了,不要触碰到法律的边界线。

如果你也喜欢编程,想通过学习Python获取更高薪资,这里给大家分享一份Python学习资料。

朋友们如果有需要的话,可以点击下方链接免费领取或者V扫描下方二维码免费领取

CSDN大礼包:全网最全《Python学习资料》免费赠送!(安全链接,放心点击)

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python学习路线

有反爬机制就爬不了吗?那是你还不知道反反爬!_第1张图片

python学习路线图1

二、Python基础学习
1. 开发工具

2. 学习笔记

在这里插入图片描述

3. 学习视频

在这里插入图片描述

三、Python小白必备手册

图片

四、数据分析全套资源

五、Python面试集锦
1. 面试资料

在这里插入图片描述

在这里插入图片描述

2. 简历模板

因篇幅有限,仅展示部分资料,添加上方即可获取

你可能感兴趣的:(okhttp,开发语言,python,数据库,mysql)