多线程爬取新浪财经上市公司要闻

利用PY3 , REQUESTS 

BS4 做划分

THREADPOOL做多线程

 

import jieba
import requests
import time
from bs4 import BeautifulSoup

result=[]

start = time.clock()  # 计时-开始



from concurrent.futures import ThreadPoolExecutor

def do(i):
    try:
        html=requests.get('http://vip.stock.finance.sina.com.cn/corp/view/vCB_BulletinGather.php?page='+str(i))
        html.encoding='gbk'



        Soup = BeautifulSoup(html.text, "lxml")
        ab=Soup.select('tr a')

        for num in range(len(ab)):
            if (num % 2) == 0:
                print (Soup.select('tr a')[num].string)
                result.append(Soup.select('tr a')[num].string)

        list1.remove(i)

    except:
        pass



# 多线程
def multithreading():
    sum=0

    while len(list1)>0:
        with ThreadPoolExecutor(max_workers=10) as executor:
            for result in executor.map(do, list1):
                sum+=1

    return sum




list1=list(range(1,260,1))

sum=multithreading()
print (list1)



end = time.clock()  # 计时-结束
print (("爬取完成 用时："))
print ((end - start))


print ('总爬取 %d 页 '%(sum))

while None in result:
    result.remove(None)

print (result)

with open("test.txt","w") as f:
        for thing in result:

            f.write(thing)
            f.write('\r\n')

 

结果：

飞集成：关于控股子公司重大诉讼事项的进展公告
成飞集成：关于筹划重大资产重组事项的进展公告
阳普医疗：关于全资子公司对外投资的公告
阳普医疗：关于对全资子公司阳普实业增加注册资本的公告
阳普医疗：公司章程修正案
阳普医疗：公司章程（2018年12月）
阳普医疗：独立董事关于第四届董事会第十六次会议相关事项的独立意见
阳普医疗：第四届监事会第十次会议决议公告
阳普医疗：第四届董事会第十六次会议决议公告
华映科技：独立董事关于针对中华映管重整事项的紧急应对措施的事前认可和独立意见
华映科技：第七届董事会第五十二次会议决议公告
东江环保：为子公司提供担保的公告
东江环保：关于回购注销2016年限制性股票激励计划限制性股票的公告
东江环保：关于放弃参股公司9.3%股权优先购买权的公告
东江环保：关于2016年股权激励限制性股票（第二个解锁期）解锁条件成就的公告
东江环保：公司章程（2018年12月）
汇川技术：第四届监事会第八次会议决议公告
东江环保：独立董事关于相关事项的独立意见
汇川技术：独立董事关于第四届董事会第十一次会议相关事项的独立意见
优博讯：董事会关于本次重大资产重组事项采取的保密措施及保密制度的说明
汇川技术：第四届董事会第十一次会议决议公告
东江环保：独立董事关于放弃参股公司9.3%股权优先购买权的事前认可意见
万科Ａ：关于股东A股股份质押的公告
汇川技术：北京市中伦（深圳）律师事务所关于公司第三期股权激励计划回购注销部分限制性股票相关事项的法律意见书
东江环保：第六届监事会第十六次会议决议公告
牧原股份：第三届董事会第七次会议决议公告
康欣新材简式权益变动报告书（二）
优博讯：创业板上市公司重大资产重组方案首次披露对照表
甘肃电投：关于为子公司提供担保的进展公告
长飞光纤关于2019年度对下属子公司担保额度的公告
广济药业：关于对外投资购建研发中心的进展公告
康欣新材关于权益变动的提示性公告
华录百纳：关于2018年10月计提资产减值准备的公告
凯莱英：关于参与投资基金并签署合伙协议的公告
英科医疗：关于召开2019年第一次临时股东大会的通知
广济药业：关于变更购建研发中心交易主体的公告
康欣新材简式权益变动报告书（一）
华录百纳：独立董事关于第三届董事会第二十九次会议相关事项的独立意见
凯莱英：独立董事关于第三届董事会第十七次会议相关事项的独立意见
英科医疗：股权激励计划自查表
广济药业：公司章程（2018年12月）
未名医药：2018年第三次临时股东大会决议公告
华录百纳：第三届监事会第十七次会议决议公告
凯莱英：第三届董事会第十七次会议决议的公告
英科医疗：独立董事关于股权激励公开征集投票权的公告
广济药业：独立董事意见
未名医药：2018年第三次临时股东大会的法律意见书
华录百纳：第三届董事会第二十九次会议决议公告
沃尔核材：关于公司及下属子公司收到政府补助的公告
英科医疗：独立董事关于第二届董事会第五次会议相关事项的独立意见
广济药业：第九届监事会第九次会议决议公告
*ST南风：重大资产重组实施阶段进展公告
华录百纳：关于全资子公司出售资产的公告
沃尔核材：关于公司公开配股申请获得中国证监会受理的公告
英科医疗：第二届监事会第五次会议决议公告
广济药业：第九届董事会第十一次会议决议公告
中钨高新：关于选举职工代表监事的公告
华录百纳：关于2018年第二次临时股东大会增加临时议案暨召开2018年第二次临时股东大会补充通知的公告
越博动力：关于全资子公司完成工商注册登记的公告
英科医疗：第二届董事会第五次会议决议公告
广济药业：2018年第三次临时股东大会决议公告
中钨高新：2018年第二次临时股东大会决议公告
苏大维格：关于关联交易的公告
华星创业：关于选举产生第五届监事会职工代表监事的公告
英科医疗：2018年限制性股票激励计划实施考核管理办法
广济药业：2018年第三次临时股东大会的法律意见书

......