网络爬虫(十)

今天学习线程,以后写爬虫代码时时会用到,因为用线程可以解决程序顺序运行产生的阻塞,减少运行时间,凡事有两面性,如果开太多的线程也会造成资源消耗过多造成系统崩溃。
开线程一般用线程池的方式,这样可减少线程创建和销毁的频率。下面上代码

from multiprocessing.dummy import Pool

def get_page(url):
    print(url)

pool=Pool(4)

arg_list=['url1','url2','url3','url4']
pool.map(get_page,arg_list)

由于python是解释性语言,函数在一定在调用之前定义。


晚自习

你可能感兴趣的:(网络爬虫(十))