爬虫-请求头中需要注意的反爬（特殊的X-Requested-With）

常见的请求头

有关注过爬虫的朋友应该会对http请求头比较熟悉
什么？不清楚
那我们百度百科一下
Accept：浏览器可接受的MIME类型。
Accept-Charset：浏览器可接受的字符集。
Accept-Encoding：浏览器能够进行解码的数据编码方式，比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间。
Accept-Language：浏览器所希望的语言种类，当服务器能够提供一种以上的语言版本时要用到。
Authorization：授权信息，通常出现在对服务器发送的WWW-Authenticate头的应答中。
Connection：表示是否需要持久连接。如果Servlet看到这里的值为“Keep-Alive”，或者看到请求使用的是HTTP 1.1（HTTP 1.1默认进行持久连接），它就可以利用持久连接的优点，当页面包含多个元素时（例如Applet，图片），显著地减少下载所需要的时间。要实现这一点，Servlet需要在应答中发送一个Content-Length头，最简单的实现方法是：先把内容写入ByteArrayOutputStream，然后在正式写出内容之前计算它的大小。
Content-Length：表示请求消息正文的长度。
Cookie：这是最重要的请求头信息之一
From：请求发送者的email地址，由一些特殊的Web客户程序使用，浏览器不会用到它。
Host：初始URL中的主机和端口。
If-Modified-Since：只有当所请求的内容在指定的日期之后又经过修改才返回它，否则返回304“Not Modified”应答。
Pragma：指定“no-cache”值表示服务器必须返回一个刷新后的文档，即使它是代理服务器而且已经有了页面的本地拷贝。
Referer：包含一个URL，用户从该URL代表的页面出发访问当前请求的页面。
User-Agent：浏览器类型，如果Servlet返回的内容与浏览器类型有关则该值非常有用。

其中加深的是网站中比较常见的反爬，如果缺少或者填错都可能返回异常。
比如Accept-Encoding请求头，如果一个请求抓包返回数据是正常，但程序请求返回的是乱码密文，那可能是缺少了Accept-Encoding请求头。
Referer Host Cookie等就更常见了，如果缺少随时会返回异常或者拒绝访问。

特殊的X-Requested-With

但这里是不是少了点什么。
图片中的X-Requested-With哪去了。
X-Requested-With是用来区分一个请求是否传统同步请求，为 XMLHttpRequest，则为 Ajax 异步请求。
但这也是服务器用来做简单反爬的手段之一。
如果一个请求是post，其他参数和请求头的正常，但访问拒绝了，那就需要检查一下是否缺少了 X-Requested-With