网络爬虫与信息提取（二）

爬取网页的通用代码框架

Requests库的异常

image.png

image.png

爬取网页的通用代码框架

import requests

def getHTMLText(url):
    try:
        r=requests.get(url,timout=30)
        r.raise_for_status()#如果状态不是200，引发HTTPError异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ =="_main_":
    url="http://www.baidu.com"
    print(getHTMLText(url))

协议

HTTP

http://host[:port][path]
host:合法的internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径
http url:相当于存取资源的Internet路径，一个URL对应一个数据资源

image.png

PATCH强调的是局部
PUT强调的是全部

HTTP协议对资源的操作

image.png

实例

向URL POST一个字典自动编码为form（表单）

image.png

向URL POST一个字符串自动编码为data

image.png