http中不可靠的Accept-Encoding

前几天写了一个检测友情链接的程序,有个网站偶尔出现误报,后来查了一下历史数据,发现这个网站返回的数据有时是压缩后的数据。
将程序下载到windows下用Fiddler监测了http的request、response header


在我传的request header中标明Accept-Encoding: identity可返回的数据还是gzip压缩后的数据。看来无论是否传递了Accept-Encoding还是要对response的Content-Encoding进行监测。对request header不要过分信任!

你可能感兴趣的:(Python)