Python爬取3gpp R13协议

工作中需要用到3gpp,各个系列用到的文件比较多，一个一个找又很麻烦。

干脆一不做二不休，全部打包！

平台：

Python3.5

直接上代码：

'''
Python爬取3gpp协议R13版本所有文本
将爬取的.zip文件按照3gpp网站http://www.3gpp.org/ftp/Specs/latest/Rel-13/
内容进行自动分类。
'''
import urllib.request #获取URL文本
import re,os #正则表达式匹配URL及.zip文件

#设置起始URL.
start_url = 'http://www.3gpp.org/ftp/Specs/latest/Rel-13/'
#爬取网页内容保存到conentNet字符串中.
with urllib.request.urlopen(start_url) as f:
    contentNet = f.read().decode('utf-8')
#解析R13协议的所有系列：['/21_series','/22_series'.....'/55_series']
list_Parser = re.findall(r'/[0-9]{2}.series',contentNet)

#解析得到所有.zip文件的URL绝对地址
list_path = []
list_File = []
list_Zip = []
list_URL = []
for i in list_Parser:
    i2 = i.strip('/')
    list_File.append(i2)

for i in list_Parser:
    i2 = start_url+i.strip('/')
    list_path.append(i2)

for i in list_path:
    with urllib.request.urlopen(i) as f:
        contentURL = f.read().decode('utf-8')
    list_Zip = re.findall(r'/[0-9]{5}.*?\.zip',contentURL)
    for m_zip in list_Zip:
        i2 = i+m_zip
        list_URL.append(i2)
#建立series文件夹,如果文件不存在的话。
for i in list_File:
    if not os.path.exists(i):
        os.makedirs(i)
#下载所有.zip文件到指定的文件夹...
for i in list_URL:
    os.chdir('E:\\Code\\python\\3gppData\\' + i.split('/')[-2])
    #支持断点续传;
    if os.path.exists(i.split('/')[-1]):
        continue
    else:
        urllib.request.urlretrieve(i, i.split('/')[-1])
    
#TODO 导入线程模块，开启多线程解决单线程下载慢问题。