爬虫-绕过浏览器防爬机制的小方法
1.设置Headers
调试浏览器F12，用的是Chrome，打开网络监听
请求的页面包含了许许多多的内容，这些内容也不是一次性就加载完成的，实质上是执行了好多次请求，一般是首先请求HTML文 件，然后加载JS，CSS 等等，经过多次请求之后，网页的骨架和肌肉全了，整个网页的效果也就出来了。
Request-headers-response
agent:请求的身份
设置Headers,构建request时传入，在请求时，就加入了headers传送，（作用）服务器若识别了是浏览器发来的请求，就会得到响应。
用户-浏览器-服务器
服务器“防盗链”的方式：服务器会识别headers中的referer是不是它自己
上有政策，下有对策
构造Headers时加入Referer(Headers>Referer)
headers = { 'User-Agent' : 'Mozilla/4.0(compatible; MSIE 5.5; Windows NT)' ,'Referer':'http://www.zhihu.com/articles' }
headers的一些属性
User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTPBody 中的内容该怎样解析。
application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用
application/json ： 在 JSON RPC 调用时使用
application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务
2. Proxy（代理）的设置
urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy
一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。(对策)所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！
3.Timeout 设置
设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。
（响应）response =urllib2.urlopen('http://www.baidu.com', timeout=10)
4.使用 HTTP 的PUT 和 DELETE 方法
http协议有六种请求方法：get,head,put,delete,post,options，我们有时候需要用到PUT方式或者DELETE方式请求。
PUT：这个方法比较少见。HTML表单也不支持这个。本质上来讲， PUT和POST极为相似，都是向服务器发送数据，但它们之间有一个重要区别，PUT通常指定了资源的存放位置，而POST则没有，POST的数据存放位置由服务器自己决定。
DELETE：删除某一个资源。基本上这个也很少见，不过还是有一些地方比如amazon的S3云服务里面就用的这个方法来删除资源。
5.使用DebugLog（不常用）
收发包的内容就会在屏幕上打印出来，方便调试
import urllib2
httpHandler =urllib2.HTTPHandler(debuglevel=1)
httpsHandler =urllib2.HTTPSHandler(debuglevel=1)
opener =urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response =urllib2.urlopen('http://www.baidu.com')