py 爬虫入门 记urlretrieve() 函数

存到本地
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
第二个参数(如果存在)指定要复制到的文件位置(如果不存在,该位置将是一个带有生成名称的tempfile)。
第三个参数(如果存在的话)是一个可调用的,在建立网络连接时调用一次,然后在每个块读取之后调用一次。可调用的将传递三个参数;到目前为止传输的块数,块大小(字节),以及文件的总大小。第三个参数可能是旧的FTP服务器上的-1,这些服务器不响应检索请求返回文件大小。
内容长度被视为下限:少则引发异常->它存储在异常实例的content属性中。
如果没有长度标头,urlretrieve()不能检查它下载的数据的大小。
参数 finename 指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。)
参数 reporthook 是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度。
参数 data 指 post 到服务器的数据,该方法返回一个包含两个元素的(filename, headers)元组,filename 表示保存到本地的路径,header 表示服务器的响应头。
清楚缓存 urllib.urlcleanup()

你可能感兴趣的:(python,爬虫,小白)