NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据

NASA EARTHDATA GES DISC不用爬虫批量下载数据

  • 下载插件DownThemAll
  • 找到数据集下载链接列表
  • 启动插件

由于NASA EARTHDATA GES DISC的数据集需要登录下载,使用爬虫下载不仅需要获取Cookie,而且保存速度很慢。
幸运的是NASA EARTHDATA GES DISC的网站提供每一个数据的下载链接。不需要用正则表达式筛选获取页面元素,直接复制链接表就能获得所有的下载链接。因此,用浏览器直接输入链接访问最简便。但是,数据量太大,DownThemAll可以解决问题。

下载插件DownThemAll

这个插件可以把一个网页上所有链接的文件下载下来
Firefox中的安装链接
Chrome浏览器的安装链接
Opera浏览器中安装链接
DownThemAll官方网站

NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据_第1张图片

找到数据集下载链接列表

  • 打开数据集页面,点击EarthdataSearch
    NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据_第2张图片

  • 这个数据集就是我们要找的数据集,点击

  • 根据日期地区选择数据获取的范围,点击加号选择需要的数据,点击下方绿色按钮Download。如果下载数据集中所有数据,点击Downloadall

  • 点击DownloadData

  • 选择Download LInks
    NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据_第3张图片

启动插件

  • 右击鼠标,选择Downloadall–Downloadall

  • NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据_第4张图片

  • 选择所有文件,点击下载

  • NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据_第5张图片

  • 由于页面中还有我们不需要的链接,我们可以用正则表达式在筛选器中筛选掉,或者手动删除。

  • NASA EARTHDATA GES DISC不用爬虫基于插件DownThemAll批量下载数据_第6张图片

你可能感兴趣的:(笔记,爬虫,chrome,大数据,gis,download)