Go 实现一个简单的协程pixiv日榜爬虫

注意：因为Pixiv不能直接访问，因此需要设置代理，代理问题请自行解决

这是一个简单的正则爬虫，根据正则表达式来进行内容匹配，获取到图片链接并下载

==文章末尾有全部代码==

流程分析

先进行一个简单的流程分析

首先我们需要向 pixiv日榜页面 发请求，拿到响应信息，对响应信息的Body部分进行正则匹配，拿到每张图片的pid(图片对应的唯一数字id，类似于B站的av号)

之后用拿到的pid组成该图片详细信息页面的地址，Pixiv的插画地址一般就是 https://www.pixiv.net/artworks/ + pid
例如
https://www.pixiv.net/artworks/97339160

之后向pid对应的地址发请求，拿到响应信息，仍然是通过正则匹配获取到图片的下载地址

最后再通过下载地址下载图片即可

整个流程是非常简单的

准备一些东西

要爬取的页面，也就是Pixiv插画日榜： https://www.pixiv.net/ranking.php?mode=daily&content=illust

代理，这里自行解决

几个正则表达式，用到会说

全局变量

var (
    beforeRank = 10                                  // 爬取榜单前多少位的作品
    dirLoc     = "D:/Pixiv日榜/"                       // 保存目录
    u, err     = url.Parse("http://127.0.0.1:41091") // 代理（这里用的是自己的代理

    aimUrl      = `https://www.pixiv.net/ranking.php?mode=daily&content=illust`
    chanImgUrls chan string // 图片下载链接管道
    chanTask    chan string // 任务数目管道
    waitGroup   sync.WaitGroup // 这个建议直接到标准库sync看看什么东西
    rePid       = ``
    reImg       = `https://i.pximg.net/img-original/img[^\"]+?(\.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`

    // 使用代理
    client = http.Client{
        Transport: &http.Transport{
            Proxy: http.ProxyURL(u),
        },
    }
)

设置代理

这部分是在全局变量里的

u, err := url.Parse("http://127.0.0.1:41091") // 这里用的是自己的代理
client := http.client{
    Transport:&http.Transport{
        Proxy: http.ProxyURL(u),
    },
}

发请求，获取响应体

用上面创建的的client来发请求

func GetPageStr(url string)(pageStr string){
    resp, err := client.Get(url) // resp为响应信息
    handleError(err,"client.Get") // 错误处理函数，下面会写
    defer resp.Body.Close() // 使用完记得关掉
    pageBytes, err := ioutil.ReadAll(resp.Body) // 读取respBody内容
    handleError(err,"ioutil.ReadAll")
    pageStr = string(pageBytes) // 将其转为字符串返回
    return
}

// 错误处理函数
func handleError(err error, why string){
    if err != nil{
        fmt.Println(err, why)
    }
}

获取排行榜页面的pid

通过上个函数我们拿到了排行榜页面的html字符串形式，之后我们就开始用正则表达式来匹配获取排行榜页面的pid
第一个正则，来锁定pid所在的a标签

// 这个放在全局变量那边
rePid = ``

// GetPid 获取排行榜整页的pid
func GetPid(url string) (urls []string) {
    pageStr := GetPageStr(url) // 调用GetPageStr获取排行榜页面的html文档转化成的字符串
    re := regexp.MustCompile(rePid) // 解析并返回一个RegExp
    results := re.FindAllStringSubmatch(pageStr, -1) // 正则匹配得到含有目标pid的a标签
    
    rePid := regexp.MustCompile(`\d+`) // 这里使用了第二个正则，主要是从a标签里只拿到pid
    fmt.Printf("共找到%d条结果\n", len(results))
    
    for _, result := range results {
        url := rePid.FindString(result[0]) // 正则匹配a标签中的pid
        urls = append(urls, url) // 将匹配结果添加到urls数组中
        if len(urls) == beforeRank { // 这里是用来限制要爬取图片pid的数量，before也在全局变量那边
            break
        }
    }
    return
}

获取pid所对应的图片链接

我们在main函数那边调用时，将pid组装成了一个对应图片所在的详情链接

意思就是，传入的参数是： https://www.pixiv.net/artworks/ + pid

这里用到了下一个正则：原图链接

// 同样在全局变量那里
reImg = `https://i.pximg.net/img-original/img[^\"]+?(\.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`

// GetImgUrls 获取当前pid所对应的图片链接
func GetImgUrls(url string) {
    pageStr := GetPageStr(url) // 调用GetPageStr获取排行榜页面的html文档转化成的字符串
    reImg := regexp.MustCompile(reImg) // 解析正则
    results := reImg.FindAllStringSubmatch(pageStr, -1) // 正则匹配，获取当前页的插画原始链接
    chanImgUrls <- results[0][0] // 将其放进图片下载链接管道
    chanTask <- results[0][0] // 也将其放进任务数目管道中
    waitGroup.Done() // waitGroup -1，在全局变量中
}

下载图片

这里分成了两个函数，原因是写在一起太乱了

DownloadImg()主要用来组建文件名，然后调用Download()函数，根据返回值判断下载是否成功

// DownloadImg 下载图片
func DownloadImg() {
    for url := range chanImgUrls {
        urlSp := strings.Split(url, "/")
        fileName := fmt.Sprintf("%s_%s_%s_%s_%s_%s_pid_%s", urlSp[5], urlSp[6], urlSp[7], urlSp[8], urlSp[9], urlSp[10], urlSp[11])
        ok := DownloadFile(url, fileName)
        if ok {
            fmt.Printf("%s下载成功！\n", fileName)
        } else {
            fmt.Printf("%s下载失败！\n", fileName)
        }
    }
    waitGroup.Done()
}

通过观察图片下载链接发现
https://i.pximg.net/img-master/img/2022/04/13/11/48/31/97589364_p0_master1200.jpg
链接后面有该图片的上传日期以及pid，图片格式信息
因此这里采用的文件命名格式是这张图片
作者上传时的年_月_日_时_分_秒_pid_图片pid以及图片格式

不同的网站有着不同的反爬方式，而pixiv中的一个反爬方式便是检查访问来源是否是pixiv的域名，因此我们需要给请求头添加一个referer（访问来源）

之后的部分就是文件读写，就不在多说了

// DownloadFile 文件下载
func DownloadFile(url, fileName string) (ok bool) {
    // 由于pixiv的图片访问来源需要是pixiv域名下url，因此需要加一个referer
    req, err := http.NewRequest("GET", url, nil)
    handleError(err, "DownloadFile http.NewRequest")
    req.Header.Add("referer", "https://www.pixiv.net/")

    resp, err := client.Do(req)
    handleError(err, "DownloadFile http.Get")
    defer resp.Body.Close()
    bytes, err := ioutil.ReadAll(resp.Body)
    handleError(err, "DownloadFile ioutil.ReadAll")

    year, month, day := time.Now().Date()
    dirName := fmt.Sprintf("%v年%v月%v日", year, int(month), day)
    mdirerr := os.MkdirAll(dirLoc+dirName, os.ModePerm)
    handleError(mdirerr, "新建文件夹")
    fileName = dirLoc + dirName + "/" + fileName
    //fileName = dirLoc + fileName

    // 写出数据
    err = ioutil.WriteFile(fileName, bytes, 0666)
    if err != nil {
        handleError(err, "文件写出错误，请检查路径是否出现问题")
        return false
    } else {
        return true
    }
}

main方法

func main() {
    // 1. 初始化管道
    chanImgUrls = make(chan string, 10) // 图片下载链接管道

    rankPid := GetPid(aimUrl) // 拿到pid数组

    chanTask = make(chan string, beforeRank) // 任务数目管道

    // 2.爬虫协程 通过pid获取图片链接
    for i := 0; i < len(rankPid); i++ {
        waitGroup.Add(1) // 每运行一个协程，waitGroup + 1
        go GetImgUrls("https://www.pixiv.net/artworks/" + rankPid[i])
    }
    waitGroup.Add(1)
    go checkOk()

    // 3.下载协程
    for i := 0; i < 5; i++ {
        waitGroup.Add(1) // 每运行一个下载协程，waitgroup+1
        go DownloadImg() 
    }
    waitGroup.Wait() // Wait方法阻塞直到WaitGroup计数器减为0。
    fmt.Println("爬取结束！")
}

检测pid爬取任务是否完成

完成后关闭chanImgUrls管道

func checkOk() {
    var count int
    for {
        url := <-chanTask
        fmt.Printf("%s完成了爬取任务\n", url)
        count++
        if count == beforeRank {
            close(chanImgUrls)
            break
        }
    }
    waitGroup.Done()
}

最终代码

Pixiv爬虫 -gitee