获取HTML资源

主要模块为urllib.request

1、使用urlopen和urlretrieve获取http资源

和open内置方法可以读取文件一样,urlopen可以用来读取url资源。不同的是,urlopen不能对获取的资源数据进行seek操作,而是返回值中包含一个可读文件的handler,从而可以对文件进行读取。

>>> from urllib.request import urlopen
>>> f=urlopen("http://192.168.90.162") #注意,读取网络数据需一定时间,这里将会使用阻塞模式,需等待一段时间
>>> f.read()
b'

针对数据来实现相应的文件操作,包括部分读取等。

from urllib.request import urlopen
fp=urlopen("http://www.python.org")
op=open("d:\python.html",'wb')
n=0
while True:
    s=fp.read(1024)
    if not s:    #s为真,not s为假;s为假如EOF,那么not s为真,即遇到文本结束,则跳出循环,结束文章读取
        break
    op.write(s)
    n=n+1024
fp.close()
op.close()

说明:1、生成的pythn.html文字内容和官方时一样的。但显示时还是有区别。图片的缺失,其次html文档布局不同。实际原因是html文档中图片和CSS的url使用的是相对url。
2、urlopen的可选参数data为空时候,支持多种协议,包括本地文件,http协议等。如果为http数据,urlopen将使用get方法获取相关资源。
3、可选参数data非空,则前面协议字段必须为http,此时urlopen将使用post方法获取url资源,当然data需要使用urlencode编码过后的查询数据。

##直接保存URL资源