重庆市A股上市公司年度财务分析数据爬取

1.重庆市A股上市公司基本情况

由《重庆上市公司发展报告（2021）》显示，截至12月7日，重庆境内外上市公司数量已达80家。其中，境内上市公司62家，境外上市公司21家（长安汽车为A+B股上市企业，渝农商行、重庆钢铁为A+H股上市企业）。A股上市公司有58家，民营企业有28家，占比48.28%，国有企业24家占比41.38%，还有2家外资企业、2家公众企业、1家其他企业，总达市值1.18万亿，见表1，主要行业包括电子信息、汽车及零部件、高端装备、新材料、生物医药、特色消费品、农副食品等，主要分布见图1。

表 1 重庆市A股上市公司地域分布数据

所在区	经度	纬度	上市公司\家
江北区	106.57	29.6	11
渝北区	106.63	29.72	8
渝中区	106.57	29.55	6
涪陵区	107.4	29.72	5
北碚区	106.4	29.8	5
九龙坡区	106.5	29.5	4
长寿区	107.08	29.87	3
南岸区	106.57	29.52	3
巴南区	106.52	29.38	3
江津区	106.26	29.29	2
璧山区	106.23	29.59	2
万州区	108.4	30.82	1
大渡口区	106.48	29.48	1
合川区	106.27	29.97	1
荣昌区	105.58	29.4	1
垫江县	107.35	30.33	1

图 1 重庆市58家A股上市公司地域位置分布

2.指标的选取

 为了全面真实地反映重庆市A股上市公司综合财务质量的基本情况，本文在收集数据时主要考虑了以下4个方面本文的一级指标：主要经济、盈利能力、偿债能力和成本费用等。每个方面有若干个二级指标数据，一共22个二级指标。利用python爬取重庆上市公司名单-重庆上市公司名录-重庆上市公司大全-商业计划书-可研报告-中商产业研究院数据库-中商情报网上58家A股上市公司的数据

 需要注意的是，要点击每个公司，然后在另一个网页的财务分析（年度）上获取每个指标的数据，如点击渝开发，弹出下一个网页

 在左侧栏目找到财务分析（年度）点击，

注意3次点击网址是不一样，而财务分析（年度）这个网址是我们爬取数据的关键网址。下面展示代码

import requests
from lxml import etree
import time
import pandas as pd
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options

url='https://s.askci.com/stock/a-0-cc0000001429/1/'
opt=Options()
#反爬
opt.add_experimental_option('excludeSwitches', ['enable-automation'])
#无头浏览器
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")
web=Chrome(options=opt)
web.get(url)
stock_list=web.find_elements(By.XPATH,'//*[@id="ResultUl"]/tr/td[2]/a')
stock_code=[]
for code in stock_list:
    stock_code.append(code.text)#拿到了上市公司的
el=web.find_element(By.XPATH,'//*[@id="kkpager"]/div[1]/span[1]/a[1]')
el.click()
# stock_list1=web.find_elements(By.XPATH,'//*[@id="ResultUl"]/tr/td[2]/a')
# for code in stock_list1:
#     stock_code.append(code.text)#拿到了上市公司的
stock_list1=web.find_elements(By.XPATH,'//*[@id="ResultUl"]/tr/td[2]/a')
for code in stock_list1:
    stock_code.append(code.text)#拿到了58个上市公司的股票代码
# el=web.find_element(By.XPATH,//*[@id="kkpager"]/div[1]/span[1]/a[1])
# el.click()
# //*[@id="ResultUl"]/tr[1]/td[2]/a
# //*[@id="ResultUl"]/tr[1]/td[2]/a
# //*[@id="ResultUl"]/tr[1]/td[3]/a
# //*[@id="ResultUl"]/tr[2]/td[3]/a

stock_code=pd.DataFrame(stock_code)
stock_code.columns=['股票代码']


#https://s.askci.com/stock/financialanalysis/000514/
eco_name=[]
eco_data=[]
ope_name=[]
ope_data=[]
pay_name=[]
pay_data=[]
cost_name=[]
cost_data=[]
eco_table=[]
ope_table=[]
pay_table=[]
cost_table=[]
for stock in stock_code:
    url1='https://s.askci.com/stock/financialanalysis/'+stock+'/'
    opt=Options()
    opt.add_experimental_option('excludeSwitches', ['enable-automation'])
    opt.add_argument("--headless")
    opt.add_argument("--disable-gpu")
    web=Chrome(options=opt)
    web.get(url1)
    print('股票代码{}已打开'.format(stock))
#     web.current_window_handle  # 获取当前窗口
#     web.window_handles    # 获取所有窗口
#     web.switch_to_window(-1)  
    time.sleep(5)
    table1=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[2]//table[1]")
    eco_list=table1.find_elements(By.TAG_NAME,'tr')
    for eco in eco_list:
        eco_table.append(eco.text)
    eco_n=eco_table[0]#主要经济指标的列名包括年份
    eco_d=eco_table[-1]#主要经济指标的数据
    eco_name.append(eco_n)
    eco_data.append(eco_d)
    time.sleep(1)
    #拿营业能力指标/盈利能力
    table2=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[4]//table[1]")
    ope_list=table2.find_elements(By.TAG_NAME,'tr')
    for ope in ope_list:
        ope_table.append(ope.text)    
    ope_n=ope_table[0]#主要经济指标的列名包括年份
    ope_d=ope_table[-1]#主要经济指标的数据
    ope_name.append(ope_n)
    ope_data.append(ope_d)
    time.sleep(1)
    #拿偿债能力指标
    table3=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[6]//table[1]")
    pay_list=table3.find_elements(By.TAG_NAME,'tr')
    for pay in pay_list:
        pay_table.append(pay.text)    
    pay_n=pay_table[0]#主要经济指标的列名包括年份
    pay_d=pay_table[-1]#主要经济指标的数据
    pay_name.append(pay_n)
    pay_data.append(pay_d)
    time.sleep(1)
    #拿成本费用指标
    table4=web.find_element(By.XPATH,"//div[@class='right_f_com']//div[8]//table[1]")
    cost_list=table4.find_elements(By.TAG_NAME,'tr')
    for cost in cost_list:
        cost_table.append(cost.text)    
    cost_n=cost_table[0]#主要经济指标的列名包括年份
    cost_d=cost_table[-1]#主要经济指标的数据
    cost_name.append(cost_n)
    cost_data.append(cost_d)
    time.sleep(1)
    print('股票代码{}已运结束'.format(stock))
    web.close()
    time.sleep(5)
print('运行完毕')    

以上是咱们把58个上司公司对应指标的数据爬取了出来，接着需要将其数据进行整理，放入CSV中。代码如下

#将得到的数据去空格化，生成对应维度的数据，即样本数x特征数
def data_split(data):
    new_data=[]
    for i in range(len(data)):
        new_data.append(data[i].split(' ')) 
    return new_data

eco_split=data_split(eco_data)#主要经济指标
ope_split=data_split(ope_data)#盈利能力,存货周转率为单位1，应收周转率单位为次，总资产周转率单位为次
pay_split=data_split(pay_data)#
cost_split=data_split(cost_data)

#将亿和万转化成亿
def str2value(data):
    new_data=[]
    for i in range(len(data)):
        data_value=[]
        for value in data[i]:
            index_yi=value.find('亿')
            index_wan=value.find('万')
            index_missing=value.find('--')#缺失标记
#             index_wan_yi=value.find('万亿')
            if index_yi == -1 and index_wan == -1 and index_missing == -1:#把数字所谓的2020转换成数字2020
                value=int(value)
            if index_yi != -1 and index_wan != -1 and index_missing == -1:
                value=float(value[:index_wan])*10000#把万亿转换成亿
            if index_yi != -1 and index_wan == -1 and index_missing == -1:
                value=float(value[:index_yi])#把亿转换成亿
            if index_wan != -1 and index_yi == -1 and index_missing == -1:
                value=float(value[:index_wan])*(1e-4)#把万转化成单位为亿的数字
            if index_missing != -1 and index_yi == -1 and index_wan == -1:
                value=[]
            data_value.append(value)
        new_data.append(data_value)
    return new_data

#主要经济指标的数据
eco=str2value(eco_split)
eco=pd.DataFrame(eco)
eco.columns=['年份','营业收入\亿元','营业利润\亿元','利润总额\亿元','净利润\亿元','资产总计\亿元','负债合计\亿元','股东权益合计\亿元']
print(eco.head())

#处理营业能力的净资产收益率的百分号
#在索引为4列
#处理ope_split的
def percentage_num(data):
    new_data=[]
    for i in range(len(data)):
        data_value=[]
        for value in data[i]:
            index_percentage=value.find('%')#百分数标记
            index_point=value.find('.')#小数点标记
            index_missing=value.find('--')#缺失标记
            if index_percentage == -1 and index_point == -1 and index_missing ==-1:#转换整数
                value=int(value)
            if index_percentage != -1 and index_point !=-1 and index_missing ==-1:#转换百分比的数字
                value=float(value[:index_percentage])
            if index_point != -1 and index_percentage == -1 and index_missing ==-1:#转换浮点数
                value=float(value)
            if index_missing != -1 and index_percentage == -1 and index_point == -1:
                value=[]
            data_value.append(value)
        new_data.append(data_value)
    return new_data
#盈利能力（运营能力）
ope=percentage_num(ope_split)
ope=pd.DataFrame(ope)
ope.columns=['年份','销售毛利率\%','营业利润率\%','总资产利润率\%','净资产收益率\%','存货周转率','应收账款周转率\次','总资产周转率\次']
print(ope.head())

#偿债能力
pay=percentage_num(pay_split)
pay=pd.DataFrame(pay)
pay.columns=['年份','资产负债率\%','股东权益比率\%','流动比率','速动比率']
print(pay.head())

#成本能力
cost=str2value(cost_split)
cost=pd.DataFrame(cost)
cost.columns=['年份','营业成本\亿元','销售费用\亿元','管理费用\亿元','财务费用\亿元']
print(cost.head())
ope.drop(['年份'], axis = 1)
chongqing_A_stock_data=pd.concat([stock_code,eco.drop(['年份'], axis = 1),ope.drop(['年份'], axis = 1),pay.drop(['年份'], axis = 1),cost.drop(['年份'], axis = 1)],axis=1)
chongqing_A_stock_data.to_csv("./重庆A股上市公司.csv", mode='a', index=False, encoding="utf_8_sig")

这样咱们就把所有指标的数据爬取出来了。下面可以考虑通过一些分析方法如主成分分分析、因子分析对各个上市公司计算综合得分，进行质量评价。有空再写