python多线程爬虫下载rpm包

写在前面

好久没更新了,贴一个多线程下载rpm包的小爬虫。

需求

今天主管跟我说,阿祖啊,你去搞个erlang离线源,把erlang的rpm包全下一下,不多,几百个好像,给你10分钟哈。我:。。。。。。。


python多线程爬虫下载rpm包_第1张图片

程序

于是我打开了尘封已久的pycharm,开始写爬虫,好久不写了,import都费劲。

# coding=utf-8
#author:OrangeLoveMlian
import sys
import re
import threading
import Queue
import time
import requests
from pyquery import PyQuery as pq

第一步:读取网页内容。加了个headers模拟浏览器

url = 'http://packages.erlang-solutions.com/rpm/centos/7/x86_64/'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"}
res= requests.get(url,headers = headers)
#print res.text
doc = pq(res.text)

第二步:分析标签元素。写入文件。


python多线程爬虫下载rpm包_第2张图片
这不是程序~~~~~~~~~~

 
  Index of /rpm/centos/7/x86_64
 
 

Index of /rpm/centos/7/x86_64

贴了点网页编码便于分析
我要抓取的是td之间的erlang的包的名字。利用了pquery模块

for item in doc("td").find("a"):
    rpm_url = item

    with open('test.txt','a') as f:
        f.writelines(rpm_url.text + '\n')

抓好到后写入到test.txt文件中。这里需要说明的是,打开文件要用‘a’,因为这是追加写入。写入后为了便于读写,加了个空格'\n'.
手动打开test.txt文件,发现众多rpm包名字中混入了什么奇怪的东西。Parent Directory和repodata\。把他两干掉。这里用了正则,写的比较蠢/(ㄒoㄒ)/~~

with open('test.txt','r') as f:
    for line in f:
        if not re.search("rpm",line):
            line[:-1]
        else:
            with open('url.txt','a') as f:
                f.writelines('http://packages.erlang-solutions.com/rpm/centos/7/x86_64/' + line)

处理完写入新的url.txt文件时,加了个http的url。这样地址就是下载地址了。
下面写一个下载函数:

def download(url):
    r = requests.get(url)
    name = url.split('/')[-1]
    with open('D:/rpm/' + name, 'wb')as f:
        f.write(r.content)

现在到d盘目录下,保存的格式为wb。名字就是rpm包的名字

引用队列,加入多线程

q = Queue.Queue()
with open('D:/rpm/test/test.txt', 'r')as f:
    for line in f:
        # download(line)
        url = line.strip('\n')
        q.put(url)

非阻塞读取队列的url。多线程下载rpm包.我这里起了一个线程

def download_rpm(q):
    while True:
        try:
            url = q.get_nowait()

        except Exception, e:
            print e
            break;
        print 'Current Thread Name Runing %s ... ' % threading.currentThread().name
        download(url)


t1 = threading.Thread(target=download_rpm, args=(q,), name="child_thread_1")
t1.start()
t1.join()
print '%s ' % over(*^_^*)

结束

就这样,一个简单的多线程爬虫下载rpm包的程序就写完了。可以加上time的模块,测试一下开不同线程下载的时间。我测试的是,下载8个rpm包,开一个线程需要54s。开3个线程只需要6s。

你可能感兴趣的:(python多线程爬虫下载rpm包)

[ICO]NameLast modifiedSizeDescription

[DIR]Parent Directory  -  
[   ]erlang-17.1-1.1.el7.centos.x86_64.rpm14-Aug-2014 16:08 16K