问题描述
Python自动下载文件，通用文件，包括但不限于压缩文件、图片等。
解决方法
一般情况下，Python下载文件的方式有以下几种：
- 利用
urllib、urllib2，即Python爬虫用的最多的库；
import urllib
import urllib2
import requests
url = "你的下载链接"
urllib.urlretrieve(url, demo.zip)
urllib.urlretrieve(url, demo.zip)这个函数还可以接受另外一个参数，比如这样用：
urllib.urlretrieve(url,local,Schedule)，其中Schedule为：
def Schedule(a,b,c):
'''''
a:已经下载的数据块
b:数据块的大小
c:远程文件的大小
'''
per = 100.0 * a * b / c
if per > 100 :
per = 100
print '%.2f%%' % per
这样程序可以即时打印出下载的进度。
- 利用
urllib2.urlopen(url);
import urllib2
print downloading with urllib2
url = "您的链接"
f = urllib2.urlopen(url)
data = f.read()
with open ("demo2.zip", "wb" ) as code:
code.write(data)
- 利用
requests，划重点，我女神推荐的！
import requests
url = "您的链接"
r = requests.get(url)
with open ("demo3.zip", "wb") as code:
code.write(r.content)
这三种下载方式一般都可以，根据自己的喜好选择。
问题升级
我推荐了第一种方法给女神，然后用她给我的链接试了下，链接为：https://n5eil01u.ecs.nsidc.org/DP5/MOST/MOD29P1D.006/2017.02.28/MOD29P1D.A2017059.h12v28.006.2017060080442.hdf，最后下载下来的文件发现为一个html文件：
第一次下载下来的文件
Earthdata Login
Earthdata Login
于是手动复制地址到浏览器，跳转到EARTHDATA的登录页
跳转到的登录页.png
问题解决，Python携带cookie下载文件
登录之后，跳转至下载链接，发现文件可以正常下载。
打开https://n5eil01u.ecs.nsidc.org，在页面打开调试模式（F12），选择Console，输入document.cookie，可以看到自己登录之后的Cookie：
如何获取网站的cookie.png
- 第一种
# --------------------第一种：使用headers携带cookie-----------------------------
# coding = utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64),
'Cookie':'_ga=GA1.2.1096053304.1523154394; googtrans=/en/zh-CN; _ceg.s=p6uhnx; _ceg.u=p6uhnx',
}
# 发起请求，获取二进制数据
html_str = requests.get(url,headers=headers).content
# 写入文件,采用二进制写入文件
with open('路径/文件名.后缀'，'wb') as f:
f.write(html_str)
- 第二种
# --------------------第二种：在requests直接携带--------------------------------
# coding = utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
}
# cookies = {你的cookies，这里必须是以键值对，也就是字典的形式}
cookies = {"_ga": "GA1.2.1096053304.1523154394", "googtrans": "/en/zh-CN", "_ceg.s": "p6uhnx", "_ceg.u": "p6uhnx", " CIsForCookie_OPS": "Wss4tcCozd0AANFW49YAAABM"}
# 发起请求，获取二进制数据
html_str = requests.get(url,headers=headers,cookies = cookies).content
# 写入文件,采用二进制写入文件
with open('路径/文件名.后缀'，'wb') as f:
f.write(html_str)
最后成功的下载了文件。
Python大法系列文章
- 【Py大法系列--01】20多行代码生成你的微信聊天机器人