你有多久没有看星星了呢？【爬取NASA的科普网站上的所有图片】

1. 前景提要

在网上冲浪的时候看到原来NASA航天局有科普网站，每天一张科普图片，而且是非常高清的那种，很想下载下来做壁纸。

所以打算写一个Java爬虫爬取所有的图片，也可以加入一些通知，每天晚上进行检查，当检查到有更新的时候，第二天早上起床推送到手机端。当然这个功能还没有实现。

2. 进行开发

2.1 开发环境

• Maven
• Java 17 (为了顺行Spring Framework 6 之后的潮流，所以打算之后的开发都用Zulu JDK17)
• WebMagic（Java的爬虫框架）

2.2 Maven pom.xml

    4.0.0

    com.yeahvin
    getStars
    1.0.1-SNAPSHOT

    
        17
        17
    

    
        
            us.codecraft
            webmagic-core
            0.7.5
        
        
            us.codecraft
            webmagic-extension
            0.7.5
        
        
            org.slf4j
            slf4j-api
            1.7.25
        
        
            org.projectlombok
            lombok
            1.18.20
            provided
        
        
            ch.qos.logback
            logback-classic
            1.2.3
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
                
                    com.yeahvin.StartApplication
                    ZIP
                
                
                    
                        
                            repackage
                        
                    
                
            
        
    

2.3 Java爬虫webmagic 的使用

这个框架也是非常容易上手和使用，官方手册在这里 WebMagic in Action

对于这个框架的使用，这里简单的介绍一下，如下图，我们开发者需要在整个流程中需要做的是：

1. 编写PageProceser
2. 编写Pipeline

就可以完成一个非常简单的爬虫。推荐大家先看看这个例子：第一个例子

image

在这个项目中，对于整个nasa网站的分析其实非常的简单，流程大概是

请求总览页面-->获取已经存在所有链接，进行遍历-->请求详情网页--->下载图片

启动类

ok, 那么来进行开发，编写StartApplication，这是启动爬虫的地方。

package com.yeahvin;

import com.yeahvin.pageProcessors.NasaStarsProcessor;
import com.yeahvin.pipelines.NasaStarsPipeline;
import lombok.extern.slf4j.Slf4j;
import us.codecraft.webmagic.Spider;

/**
 * @author Asher
 * on 2021/11/6
 */
@Slf4j
public class StartApplication {

    //下载图片存储路径
    public static final String DOWNLOAD_PATH = "/Users/asher/gitWorkspace/temp/";
    public static final String INDEX_PATH = "https://apod.nasa.gov/apod/archivepix.html";

    public static void main(String[] args) {
        Spider.create(new NasaStarsProcessor())
                .addUrl(INDEX_PATH)
                .addPipeline(new NasaStarsPipeline())
                .run();
    }
}

以上代码中，Spider.create(Processor)可以非常快速的构建一个爬虫，然后 addUrl配置请求的地址，addPipeline配置当爬虫抓取到数据时应该怎么进行处理，最后就是run进行启动了

编写NasaStarsProcessor

编写这个的原因是为了，请求到网页之后，怎么对网页上的内容进行一个分析和处理

package com.yeahvin.pageProcessors;

import com.yeahvin.StartApplication;
import com.yeahvin.utils.StringUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;

import java.io.File;
import java.util.Arrays;
import java.util.List;
import java.util.Optional;
import java.util.regex.Pattern;
import java.util.stream.Collectors;

import static com.yeahvin.StartApplication.DOWNLOAD_PATH;

/**
 * @author Asher
 * on 2021/11/6
 */
@Slf4j
public class NasaStarsProcessor implements PageProcessor {

    private Site site = Site.me().setRetryTimes(5).setSleepTime(1000).setTimeOut(10000);

    @Override
    public void process(Page page) {
        if (page.getUrl().regex(StartApplication.INDEX_PATH).match()){

            //获取文件夹下已经保存的文件
            File saveDir = new File(DOWNLOAD_PATH);
            List fileNames = Arrays.stream(Optional.ofNullable(saveDir.listFiles()).orElse(new File[]{}))
                    .map(File::getName)
                    .collect(Collectors.toList());

            log.info("开始主页抓取");
            List starsInfos = page.getRawText()
                    .lines()
                    .map(line -> {
                        List infoList = StringUtil.getRegexString(line, "^\\d{4}.*
$");
                        boolean flag = infoList.size() > 0;
                        return flag ? infoList.get(0) : null;
                    })
                    .filter(StringUtils::isNoneBlank)
                    .collect(Collectors.toList());

            starsInfos.forEach(info -> {
                String link = StringUtil.getRegexString(info, "ap.*html").get(0);
                String name = StringUtil.getRegexString(info, ">.*").get(0)
                        .replace("", "")
                        .replace(">", "");

                //如果已经存在对应的文件，则进行跳过
                if (fileNames.stream().filter(fileName -> fileName.contains(name)).count() > 0) {
                    log.info("文件 [{}] 已经存在,进行跳过", name);
                    return;
                }
                page.addTargetRequest("https://apod.nasa.gov/apod/" + link);
            });
            log.info("完成主页抓取，一共有{}条数据", starsInfos.size());
        }else {
            page.getRawText()
                .lines()
                .filter(line -> line.contains("