python爬虫基础-爬虫和反爬虫第一步

"User-Agent":"Mozilla/5.0(Windows NT 10.0;Win64;x64)AppleWebkit/537.36(KHTML,like Gecko)Chrome/54.0.2840.99 Safari/537.36"

User-Agent  的改变为爬虫与反爬虫的第一步，

如果不改变User-Agent ，设置了反爬虫的网页会第一时间发现，并拒绝访问

改了User-Agent 之后反爬虫网页会以为是浏览器页面访问不会拒绝访问。

 

# coding:utf-8
import urllib2

ua_headers = {
    "User-Agent":"Mozilla/5.0(Windows NT 10.0;Win64;x64)AppleWebkit/537.36(KHTML,like Gecko)Chrome/54.0.2840.99 Safari/537.36"
}
#通过urllib2.Request（）方法构造一个请求对象
request =  urllib2.Request("http://www.baidu.com/",headers = ua_headers)

#向指定的url地址发送请求，并返回服务器响应的类文件对象
response = urllib2.urlopen(request)

#服务器返回的类文件对象文件支持python文件对象的操作方法
#read（）方法就是取读文件里的全部内容，返回字符串
html = response.read()

#返回 HTTP的响应码，成功返回200， 4服务器页面出现错误，5服务器问题
print response.getcode()

#返回 返回实际数据的实际URL，防止重定向问题
print response.geturl()

#返回 服务器响应的HTTP的报头
print response.info()

#测试以上功能可以暂时不用print html
#打印响应内容
#print  html

User-Agent 列表
ua_list = [
    "Mozilla/5.0(Macintosh;Intel Mac OS X 10.6;rv2.0.2)Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0(Windows NT 6.1;rv2.0.1)Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80(Macintosh;Intel Mac OS X 10.6.8;U;en)Presto/2.8.131 Version/11.11",
    "Opera/9.80(Windows NT 6.1;U;en)Presto/2.8.131 Version/11.11"，
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"

]