不写代码玩转爬虫实例（4） - 抓取东方财富股票信息

背景需求

永恒君经常会在东方财富网站上面搜集查询一些行业股票信息，如下图：

这些就是网站给我们分类好的证券行业的信息。假如需要跟踪这些行业的公司的话，势必需要搜集这些公司的基本信息（牛市里跟踪券商谁都知道吧~~）

今天这篇文章来分享一下，使用web scraper来快速实现东方财富股票信息。

以上面证券行业的这些公司为例，一共有3页，47家公司，想把这些公司的行情信息都抓取下来。

需求分析

通过仔细观察，我们发现，点击翻页的时候，网页的网址是不会变化的。

这样的话就不能使用更换有规律的网址那种方法了。看过永恒君视频的朋友应该有印象，这里需要使用到Element Click选择器。（视频传送门在这里：动态加载），使用这个选择器就可以对网页进行翻页。

在这个选择器之下呢，在配上Table选择器，即可完成任务

配置运行

1、Element Click选择器配置如下图：

2、接下来配置Table选择器就比较简单了

整体的一个结构图就是这样：

爬取的结果如下：

爬取其他的行业信息

有了上面的这个模板，爬取其他行业的就轻松多了。

比如说多元金融的行业信息，只需要打开行业信息，复制网址，粘贴更换掉刚才web scraper配置的起始页即可。

爬取的结果如下：

如果要爬取股指期货的行业信息，复制网址，粘贴更换掉刚才web scraper配置的起始页即可。

爬取的结果如下：

通过这样的方法，无论你可以想抓热点概念、热门板块，还是基金、期货、外汇、债券，只要是网站提供有的数据，统统不在话下。

永恒君把整个sitemap文件准备好了，如果你感兴趣的话，联系我即可。

之前还写过这些实例：

不用代码玩转爬虫实例（1） – 抓取猫眼电影信息

不用代码玩转爬虫实例（2） – 抓取天眼查企业基本信息

不写代码玩转爬虫实例（3） – 抓取携程酒店信息

欢迎交流！