wget批量下载EarthData的CO2卫星探测数据(Windows)

数据源链接:https://disc.gsfc.nasa.gov/datasets?page=1&keywords=OCO-2

首先需要在该网站进行注册哈,步骤不麻烦,大家自行注册就好。

下图为数据页面示意图,红框圈起的为目标数据。

wget批量下载EarthData的CO2卫星探测数据(Windows)_第1张图片

 点击该条数据,进入详情页面,有数据的总览、引用、说明等。再点击“Subset/Get Data”进行数据下载。进行下载时会出现如下界面,其中的信息大家根据自己需要的进行修改即可(下载类型有两个选项,具体的不是很清楚,其中一个是原始文件,另一个是子集文件,输出的格式好像有区别):

wget批量下载EarthData的CO2卫星探测数据(Windows)_第2张图片

 设置完成后就可以点击绿色的“GetData”。然后系统就会去加载你需要的数据。有时候会出现如下的报错界面,可以多试几次~

wget批量下载EarthData的CO2卫星探测数据(Windows)_第3张图片

 如果加载成功,应该出现如下图所示的界面,即网页给出所有数据的链接。点击①处可以下载包含所有数据链接的txt文件,鼠标指向②处可以看到官网提供的数据下载的步骤。

wget批量下载EarthData的CO2卫星探测数据(Windows)_第4张图片

鼠标指向②处的内容如下图,我们批量下载数据就需要按照这个步骤哈

wget批量下载EarthData的CO2卫星探测数据(Windows)_第5张图片

 第1步中包含三个要点,①创建Earthdata账户(大家应该已经完成啦)②将GES DISC与自己的账户链接 ③通过下载示例数据文件URL来验证;第2步是下载数据文件链接的列表(即前面的txt文件);第3步是根据wget的指令对数据进行下载(点击wget可以看到具体步骤)。

对第1步的②进行说明(我一开始没有做这一步,CMD就下载不下来):你直接点击它,会有一个引导你完成账户链接的页面,值得说明的是搜索应用的那里,官方说明是搜索“NASA GESDISC DATA ARCHIVE”,现在好像更新了,变成了“GESDISC DATA ARCHIVE”,所以大家搜的时候可以注意一下,搜“NASA”会搜不到,搜后面就可以啦,其余步骤按照官方文档即可~

对第1步的③进行说明:示例数据文件URL是一个380MB的hdf文件。我是后来才下载下来看的,并没有实际操作。大家有通过该文件验证的可以在评论进行补充。总的来说是不做这一步应该也没关系啦

至此,剩余的就是要通过wget和前面的txt文件对数据文件进行下载。

===================================================================

点击前图第3步的wget,跳转到官方对下载数据的说明页面,如下图。

wget批量下载EarthData的CO2卫星探测数据(Windows)_第6张图片

 我是windows系统,所以就搬运一下windows部分的说明(如下图)。其他系统的朋友在该页面也能找到相应的说明哈~

wget批量下载EarthData的CO2卫星探测数据(Windows)_第7张图片

放一个下载wget的链接 https://eternallybored.org/misc/wget/

我就下载了最新版本的64位压缩包版本。大家下载配置可以参考这篇文章(另有文章说明需要配置环境变量,即打开控制面板,系统与安全-系统,将wget文件夹路径加入到环境变量中即可,我也同样进行了该操作),很简单就搞好啦~在CMD面板中输入“wget --help”,如果会出现下图,说明wget下载成功

wget批量下载EarthData的CO2卫星探测数据(Windows)_第8张图片

 前两步我们就搞定啦,然后开始操作。(后文路径均为本人的操作路径 以D盘为基准,官方文件的是在C盘,大家可以根据自己的习惯设置不同的文件名和保存路径哈)

将txt文件重命名为url.txt,保存至D盘的根目录下。

在CMD中输入‘D:’,输入“dir”,查看D盘目录下是否有'.urs_cookies'的文件(第一个红框框),如果没有的话需要创建该文件(输入“NUL > .urs_cookies”,再输入“dir”查看是否有“ .urs_cookies”文件)

wget批量下载EarthData的CO2卫星探测数据(Windows)_第9张图片

 然后在CMD中输入下面的代码

wget --load-cookies D:\.urs_cookies --save-cookies D:\.urs_cookies --auth-no-challenge=on --keep-session-cookies --user=自己Earthdata账户的用户名 --ask-password --content-disposition -i url.txt  --user-agent="这里换成自己的代理噢" --no-check-certificate

回车后会提醒输入密码,我发现键盘输入后并不显示输入的内容,百度后发现可能它确实输入了但不显示,所以大家就正常输入账户密码后回车即可。

wget批量下载EarthData的CO2卫星探测数据(Windows)_第10张图片

 输入密码后回车就可以开始下载了,我下载了一晚上,大概7秒钟下载一天的,一共下载了不到六个半小时~

wget批量下载EarthData的CO2卫星探测数据(Windows)_第11张图片

 

你可能感兴趣的:(大数据)