不写代码玩转爬虫实例(4) - 抓取东方财富股票信息

背景需求

永恒君经常会在东方财富网站上面搜集查询一些行业股票信息,如下图:

这些就是网站给我们分类好的证券行业的信息。假如需要跟踪这些行业的公司的话,势必需要搜集这些公司的基本信息(牛市里跟踪券商谁都知道吧~~)

今天这篇文章来分享一下,使用web scraper来快速实现东方财富股票信息。

以上面证券行业的这些公司为例,一共有3页,47家公司,想把这些公司的行情信息都抓取下来

需求分析

通过仔细观察,我们发现,点击翻页的时候,网页的网址是不会变化的

这样的话就不能使用更换有规律的网址那种方法了。看过永恒君视频的朋友应该有印象,这里需要使用到Element Click选择器。(视频传送门在这里:动态加载),使用这个选择器就可以对网页进行翻页。

在这个选择器之下呢,在配上Table选择器,即可完成任务

配置运行

1、Element Click选择器配置如下图:

2、接下来配置Table选择器就比较简单了

整体的一个结构图就是这样:

爬取的结果如下:

爬取其他的行业信息

有了上面的这个模板,爬取其他行业的就轻松多了。

比如说多元金融的行业信息,只需要打开行业信息,复制网址,粘贴更换掉刚才web scraper配置的起始页即可。

爬取的结果如下:

如果要爬取股指期货的行业信息,复制网址,粘贴更换掉刚才web scraper配置的起始页即可。

爬取的结果如下:

通过这样的方法,无论你可以想抓热点概念、热门板块,还是基金、期货、外汇、债券,只要是网站提供有的数据,统统不在话下。

永恒君把整个sitemap文件准备好了,如果你感兴趣的话,联系我即可。

之前还写过这些实例:

不用代码玩转爬虫实例(1) – 抓取猫眼电影信息

不用代码玩转爬虫实例(2) – 抓取天眼查企业基本信息

不写代码玩转爬虫实例(3) – 抓取携程酒店信息

欢迎交流!

你可能感兴趣的:(不写代码玩转爬虫实例(4) - 抓取东方财富股票信息)