科创板公司数据信息爬取

最近随着首批科创板的公司正式开市交易，一百多家科创公司的信息也逐渐披露与完善，虽然购买的要求很高，限制也较大，但是。。。嗯。。。买不起就是买不起~虽然没条件买，但是深入了解下各个公司的数据信息还是可以的。

本文主要分析与获取所有科创公司的基本数据及下载其相关的文件。

完整代码的GitHub地址如下：https://github.com/lixj-zj/Python/blob/master/Spider/KCB_info.py

爬取的网址为上交所网站中的上交所科创板，地址为：http://kcb.sse.com.cn/renewal/

通过分析可以看到，所有科创公司信息展示在项目动态的表格中，包括发行人全称、审核状态、注册地、证监会行业、保荐机构、律师事务所、会计师事务所、更新日期、受理日期等主要信息，点开某个公司后，进到该公司的详细信息说明页，如下：

主要内容包括该公司的注册进程、项目基本信息、信息披露、问询与回复、上市委会议公告与结果、注册结果通知等主要内容，其中，问询与回复、上市委会议公告与结果、注册结果通知这三部分又包含对应的文件信息，点击可查看对应的文件内容及相关说明文件。

此次获取的信息包括项目动态中的所有内容、项目基本信息、信息披露等内容，暂不包括 问询与回复、上市委会议公告与结果、注册结果通知三个表，有需要的同学可以参考解析信息披露的方法，可如法炮制。

解析的部分不做过多的说明，通过beautifulSoup与lxml库可以轻松的解析网页内容，比较麻烦的一点是一次获取项目动态表格中所有公司的数据，通过分析可以看到，点击下一页，网页的链接并没有发生变化，可能是通过Ajax异步调用与加载数据。

通过F12 -> Source -> kcb.see.com.cn -> renewal -> (index)分析如下：

'pageHelp.pageSize':20,对应每页的20条数据，在第359行可以看到，通过调用container.getDataByAjax(url, utils.mergeJson(params,p),getNum);方法获取加载的所有数据，此时可以在改行打个断点，刷新页面后，修改pageHelp.pageSize的值后，点击运行下一步，便可以在页面上获取所有的数据，如下：

 

此时项目动态的表格中显示所有的数据如下，目前共有142条数据（截止至7月6号）。

此时在 Elements 中选中 标签，右键 copy -> copy outerHTML，获取当前页所有展示的所有 html信息：

注：由于网页的内容是由接口获取并在浏览器端渲染，而非在服务器端渲染后返回的方式，通过直接查看页面源代码只能看到加载的js方法，不包含数据信息，所以可以采用如上的方式获取真实的所有数据。

代码运行结果如下：

1. 项目动态表格中的数据

2. 对应下载的相关文件

 

关键部分的代码如下：

    def disclosure_info_analysis(self, html, company_name):
        """
        解析信息披露表格，并下载对应的披露文件
        :param html:
        :return:
        """
        struct = etree.HTML(html)

        # 记录信息披露表格内容
        publish_info = {}
        for report_key in self.PUBLISH_REPORT.keys():
            # 记录每份披露文件信息
            report = {}
            for type_key, type_value in enumerate(self.PUBLISH_TYPE):
                # 每个披露文件对应的三种信息
                one_publish_info = {}
                time = struct.xpath('//*[@id="tile' + report_key + '"]/td[' + str(type_key + 1) + ']/a/text()')
                # 不存在 time，默认为 '-'
                if len(time) == 0:
                    one_publish_info['url'] = '-'
                    one_publish_info['time'] = '-'
                    one_publish_info['title'] = '-'
                else:
                    url = struct.xpath('//*[@id="tile' + report_key + '"]/td[' + str(type_key + 1) + ']/a/@href')
                    title = struct.xpath('//*[@id="tile' + report_key + '"]/td[' + str(type_key + 1) + ']/a/@title')
                    one_publish_info['time'] = time[0]
                    one_publish_info['url'] = url[0]
                    one_publish_info['title'] = title[0]

                    # 下载 pdf 文件
                    self.pdf_download(company_name, title[0], url[0])

                report[type_value] = one_publish_info
            publish_info[self.PUBLISH_REPORT[report_key]] = report

        result = str(publish_info).replace("'", "\"")

        # 写入信息披露至 self.DISCLOSURE_INFO_FILE
        file_path = self.ROOT_PATH + os.altsep + company_name[0] + os.altsep + self.DISCLOSURE_INFO_FILE
        write_html(file_path, result)

总结

虽然爬取的数据拿到了，但是代码中依然存在需要优化与改进的内容，主要包括：

1. 下载速度：可以使用python的异步协程加速下载文件；

2. 准备工作：解析网页源码过于繁琐，可以尝试深入分析接口数据。