10行代码爬取全国所有A股/港股/新三板上市公司信息

摘要：我们平常在浏览网页中会遇到一些表格型的数据信息，除了表格本身体现的内容以外，可能还想透过表格背后再挖掘些有意思或者有价值的信息。这时，可用python爬虫来实现。本文采用pandas库中的read_html方法来快速准确地抓取网页中的表格数据。

由于本文中含有一些超链接，微信中无法直接打开，所以建议点击最左下角阅读原文阅读，体验更好，也可以复制链接到浏览器打开：

https://www.makcyun.top/web_scraping_withpython2.html

本文知识点：

Table型表格抓取

DataFrame.read_html函数使用

MySQL数据库存储

Navicat数据库的使用

1. table型表格

我们在网页上会经常看到这样一些表格，比如：

QS2018世界大学排名：

财富世界500强企业排名：

IMDB世界电影票房排行榜：

中国A股上市公司信息：

它们除了都是表格以外，还一个共同点就是当点击右键-定位时，可以看到它们都是table类型的表格。

从中可以看到table类型的表格网页结构大致如下：

先来简单解释一下上文出现的几种标签含义：

这样的表格数据，就可以利用pandas模块里的read_html函数方便快捷地抓取下来。下面我们就来操作一下。

2. 快速抓取

下面以中国上市公司信息这个网页中的表格为例，感受一下read_html函数的强大之处。

只需不到十行代码，1分钟左右就可以将全部178页共3535家A股上市公司的信息干净整齐地抓取下来。比采用正则表达式、xpath这类常规方法要省心省力地多。如果采取人工一页页地复制粘贴到excel中，就得操作到猴年马月去了。

上述代码除了能爬上市公司表格以外，其他几个网页的表格都可以爬，只需做简单的修改即可。因此，可作为一个简单通用的代码模板。但是，为了让代码更健壮更通用一些，接下来，以爬取177页的A股上市公司信息为目标，讲解一下详细的代码实现步骤。

3. 详细代码实现

3.1. read_html函数

先来了解一下read_html函数的api:

参考：

1 http://pandas.pydata.org/pandas-docs/stable/io.html#io-read-html2 http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_html.html

3.2. 分析网页url

首先，观察一下中商情报网第1页和第2页的网址：

1http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=1#QueryCondition

2http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=2#QueryCondition

可以发现，只有pageNum的值随着翻页而变化，所以基本可以断定pageNum=1代表第1页，pageNum=10代表第10页，以此类推。这样比较容易用for循环构造爬取的网址。

试着把#QueryCondition删除，看网页是否同样能够打开，经尝试发现网页依然能正常打开，因此在构造url时，可以使用这样的格式：

http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=i

再注意一下其他参数：

a：表示A股，把a替换为h，表示港股；把a替换为xsb，则表示新三板。那么，在网址分页for循环外部再加一个for循环，就可以爬取这三个股市的股票了。

3.3. 定义函数

将整个爬取分为网页提取、内容解析、数据存储等步骤，依次建立相应的函数。

上面两个函数相比于快速抓取的方法代码要多一些，如果需要抓的表格很少或只需要抓一次，那么推荐快速抓取法。如果页数比较多，这种方法就更保险一些。解析函数用了BeautifulSoup和css选择器，这种方法定位提取表格所在的id为#myTable04的table代码段，更为准确。

3.4. 存储到MySQL

接下来，我们可以将结果保存到本地csv文件，也可以保存到MySQL数据库中。这里为了练习一下MySQL，因此选择保存到MySQL中。

首先，需要先在数据库建立存放数据的表格，这里命名为listed_company。代码如下：

上述代码定义了generate_mysql()函数，用于在MySQL中wade数据库下生成一个listed_company的表。表格包含15个列字段。根据每列字段的属性，分别设置为INT整形（长度为30）、VARCHAR字符型(长度为30) 、DATETIME(0) 日期型等。

在Navicat中查看建立好之后的表格：

接下来就可以往这个表中写入数据，代码如下：

以上就完成了单个页面的表格爬取和存储工作，接下来只要在main()函数进行for循环，就可以完成所有总共178页表格的爬取和存储，完整代码如下：

最终，A股所有3535家企业的信息已经爬取到mysql中，如下图：

除了A股，还可以顺便再把港股和新三板所有的上市公司也爬了。后期，将会对爬取的数据做一下简单的数据分析。

最后，需说明不是所有表格都可以用这种方法爬取，比如这个网站中的表格，表面是看起来是表格，但在html中不是前面的table格式，而是list列表格式。这种表格则不适用read_html爬取。得用其他的方法，比如selenium，以后再进行介绍。