go如何控制并发数，场景举例

Go如何控制并发的goroutine数量？

场景：假设我们有一个string数组，里面有1000万条url需要下载，假设下载函数为processURL，我们需要指定100个goroutine并发去执行这个processURL函数去下载url，那么如何做呢？

解决方式：利用有缓冲channel去控制发送阻塞的特性

func processURL(url string, ch chan struct{}, wg *sync.WaitGroup) {
	defer wg.Done()

	// 模拟处理URL
	// 对URL进行处理，例如HTTP请求、解析等
	fmt.Println("Processing:", url)

	// 释放通道的位置
	<-ch
}

func main() {
	// 假设这里有1000万个URL
	urls := []string{"url1", "url2", "url3", /*...*/}

	// 使用通道来控制并发数
	ch := make(chan struct{}, 100)

	var wg sync.WaitGroup
	// 不断获取url，启动一个processurl协程下载函数，因为channel容量只有100，所以最大并发数就是100
	for _, url := range urls {
		ch <- struct{}{}
		wg.Add(1)
		go processURL(url, ch, &wg)
	}

	wg.Wait()
}