python爬虫模拟浏览器访问-User-Agent过程解析

这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

模拟浏览器访问-User-Agent：

import urllib2
 
#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
 
#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
 
 
#向指定的URL地址发送请求，并返回服务器响应的类文件对象
#response是服务器响应的类文件，除了支持文件操作的方法外，还支持以下常用的方法：
response = urllib2.urlopen(request)
 
 
 
#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容，返回字符串
html = response.read()
 
#返回HTTP的响应码，成功返回200,4服务器页面出错；5.服务器问题
print response.getcode()
 
#返回实际数据的实际URL，防止重定向问题
print response.geturl()
 
#返回服务器响应的HTTP报头
print response.info()
 
 
#打印响应内容
print(html)

最后给大家推荐一个口碑不错的python聚集地【点击进入】，这里有很多的老前辈学习技巧，学习心得

，面试技巧，职场经历等分享，更为大家精心准备了零基础入门资料，实战项目资料，每天都有程序员

定时讲解Python技术，分享一些学习的方法和需要留意的小细节