Matlab-爬取论文数据

现在网上的爬虫程序很多，但大多不实用！今天，我们以爬取论文数据为例了解Matlab爬虫！

首先，明确我们要爬取什么数据！如下图，第一张图片表示年积日，第二张图片表示第一天里有哪些数据，我们打算爬取一年的ionPrf数据！

1.首先构造网址，分别是：

‘https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/001/’

…

‘https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/365/’

the_url='https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/';
for i=1:365
    doy=sprintf('%03d',i);
    url=[the_url,doy,'/'];
end

2.读取页面源代码

contents=webread(url);

3.解析页面源代码

hT=htmlTree(contents);

4.从hT中寻找...

A_label=findElement(hT,'a');

5.获取链接

url_download=getAttribute(A_label,'href');

6.找到ionPrf文件在数组里的位置，然后提取出来

flag=cellfun(@isempty,regexp(url_download,'ionPrf'));
url_download=url_download(~flag);

7.组合网页链接

url_download=url+url_download;

结果示例：https://data.cosmic.ucar.edu/gnss-ro/cosmic1/postProc/level2/2016/001/ionPrf_postProc_2016_001.tar.gz

8.下载数据

% filename自己设置,这里不展开
websave(filename,url_download);

完整代码：见面包多