Hadoop权威指南NCDC数据下载

for i in {1901..2013}
do
cd /home/zhangyang/ncdc/
wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3.ncdc.noaa.gov/pub/data/noaa/$i/
cd pub/data/noaa/$i/
cp *.gz /home/zhangyang/ncdc/files
cd /home/zhangyang/ncdc/
rm -r pub/
done

你可能感兴趣的:(Hadoop权威指南NCDC数据下载)