2019独角兽企业重金招聘Python工程师标准>>>
What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back.
你所浪费的今天是昨天死去的人奢望的明天; 你所厌恶的现在是未来的你回不去的曾经。
今天发现某盘里有好多收藏的歌曲,于是想下载下来,20个链接,规定一次同时下载5个,就想用Golang下一个(别问为啥)
下载部分整理为库, 代码如下:
package download
import (
"strconv"
"sync"
"time"
)
type Urls struct {
Urls []string
Wg sync.WaitGroup
Chs chan int // 默认下载量
Ans chan bool // 每个进程的下载状态
}
// 初始化下载地址 根据项目确认使用配置文件的方式还是其他方式,此处使用爬虫处理没公开
func (u *Urls) InitUrl(end chan bool) {
for i := 0; i < 20; i++ {
u.Urls = append(u.Urls, "https://studygolang.com/articles/2228")
}
end <- true
}
// 实际的下载操作
func downloadHandle(url string, b *bar.Bar) string {
//需要根据下载内容作存储等处理
time.Sleep(3*time.Second)
return ""
}
/**
每个线程的操作
url 下载地址
chs 默认下载量
ans 每个线程的下载状态
*/
func (u *Urls) Work(url string) {
defer func() {
<-u.Chs // 某个任务下载完成,让出
u.Wg.Done()
}()
downloadHandle(url)
u.Ans <- true // 告知下载完成
}
调用方式:
package main
import (
dl "downloadAndstup/download"
)
func main(){
end := make(chan bool)
u := dl.Urls{
Chs:make(chan int , 5), // 默认同时下载5个
Ans: make(chan bool),
}
// 初始化url
go u.InitUrl(end)
if ok := <- end; ok{
// 分发的下载线程
go func(){
for _, v := range u.Urls{
u.Chs <- 1 // 限制线程数 (每次下载缓存加1, 直到加满阻塞)
u.Wg.Add(1)
go u.Work(v)
}
u.Wg.Wait() // 等待所有分发出去的线程结束
close(u.Ans)// 否则range 会报错哦
}()
// 静静的等待每个下载完成
for _ = range u.Ans{
}
}
}
以上的线程会在某一个下载任务完成后,马上启动一新goroutine继续共5个下载的任务,
如果新需求是同时下载,并且按循序下载5个后,再启动新5个下载任务?后续更新