requests库入门

requests的安装

1.命令行敲入

pip install requests

注意安装的路径问题

2.检查是否安装成功

在Python环境下

import requests
r = requests.get("http://www.baidu.com")  #这里的url以百度首页举例
r.status_code  #除200以外，其他都是有问题。自行检查下。

requests的基本使用

1.几个基础命令

r.encoding  #从网页的header中猜测的编码方式
r.apparent_encoding  #从网页内容猜测到的响应内容编码方式
r.text  #展示爬到的内容 

2.requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常（DNS查询失败、拒绝连接等）
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常

关于什么是HTTP协议？
超文本传输协议。是一个基于“请求与响应”模式的、无状态的应用层协议。
URL格式 http://host[:post][path]
host: 合法的Internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

3.关于异常

通用网络框架的异常处理

import requests
def getHTMLText(url):
  try:
    r = requests.get(url, timeout = 30)
    r.raise_for_status()  #判断状态函数是否为200，若不是200则抛出异常 
    r.encoding = r.apparent_encoding
    return r.text
  expect:
    return “产生异常”
if __name__ == "__main__":
  url = "http://www.baidu.com"
  print(getHTMLText(url))