效率|不用右击另存为,三种方法快速下载Argo资料

由于在海上建立观测站成本高昂,海洋中的观测资料并没有气象观测资料丰富。在为数不多的海洋资料中,Argo则是其中在资料同化,研究气候变化等领域应用非常广泛的一种观测资料。

科研中经常要下载大量Argo数据,比如:

效率|不用右击另存为,三种方法快速下载Argo资料_第1张图片

上图是2015年12月大西洋的Argo剖面数据,如果仅下载这个页面的数据,采用用“鼠标右击另存为”的方法还可以接受。如果要下载多个页面的数据,工作量可想而知。

这里提供三种依次进阶的下载方法供大家使用:

1 使用迅雷

效率|不用右击另存为,三种方法快速下载Argo资料_第2张图片

打开迅雷,点击“+”号,输入你所需数据的地址,不同地址之间用回车隔开就可以了,这样就能一次下载所有的数据了。

大多时候,好的网页的地址都非常规则。比如说,本文第一个页面的地址是ftp://ftp.ifremer.fr/ifremer/argo/geo/atlantic_ocean/2015/12/,/2015/12/代表年份和月份;第一个剖面的下载链接是ftp://ftp.ifremer.fr/ifremer/argo/geo/atlantic_ocean/2015/12/20151201_prof.nc,其实是上个地址加所下载的文件名,其他下载地址可以依次类推。

2 使用浏览器插件

方法一中,要迅雷中输入所有数据的链接,对于懒癌晚期的我们这也不够便捷。能不能自动下载,不用输入链接呢?当然可以,不过需要一点学习成本;你需要火狐浏览器(Firfox)和downthemall插件。

1首先,下载安装火狐浏览器http://www.firefox.com.cn/

2安装downthemall插件。打开火狐浏览器,点击菜单栏,再点击附加组件

效率|不用右击另存为,三种方法快速下载Argo资料_第3张图片

点击右上搜索框,输入downthemall,然后安装。

效率|不用右击另存为,三种方法快速下载Argo资料_第4张图片

然后打开你需要下载数据的页面,右击选择downthemall,进入downthemall界面

效率|不用右击另存为,三种方法快速下载Argo资料_第5张图片

自动搜索可以下载的链接,还可以过滤以及重命名,是不是很强大!

还可以使用正则表达式(Reglar Expression)匹配:

点击+号新建,在下载栏输入正则表达式(里面有简单的例子),就可以自动匹配下载你所需要的文件。

效率|不用右击另存为,三种方法快速下载Argo资料_第6张图片

关于正则表达式的进一步用法,移步http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143193331387014ccd1040c814dee8b2164bb4f064cff000

3 使用爬虫

比如一次下载几年的全球Argo剖面数据,但是Argo数据中网站的页面分好几级:需要依次 选择海域>>选择年份>>选择月份>>选择剖面 才能下载。这样的情况就需要爬虫解决:

你需要安装:

1Python

2 request,BS4库

代码如图

效率|不用右击另存为,三种方法快速下载Argo资料_第7张图片

这是一个爬取58二级页面的一个代码,使用时需要做一定的修改。如果有需求,你也可以联系我 rendong717622 。

YGDDSD∣一个有用的公众号

效率|不用右击另存为,三种方法快速下载Argo资料_第8张图片

长按,识别二维码,加关注

你可能感兴趣的:(效率|不用右击另存为,三种方法快速下载Argo资料)