黑科技! 当会Python爬虫遇上会画图的FineBI……

我们平时在用Python爬取网页上的数据时,对爬取到到的数据做数据分析展现有很多种方式,比如可以通过echart图表接口、python提供的第三方库,甚至还可以用matlab工具来进行数据统计和图表可视化展现。

可无论是以上哪一种方式,都需要通过代码来调用Python爬好的数据来进行画图,图表样式属性设置等方面还是比较繁琐的。

同样的问题,有一次小编领导要求我做一份有关于南京房价的数据汇报,需要做到报表里面。数据是没有的,自然而然想到用Python爬,爬好后直接做数据图表粘贴到报表中。但后来发现方法太土,汇报时不好做动态的数据展现(影响小编炫技装逼)。于是乎就想办法,将爬取到的数据导入到报表或者BI系统里面,利用BI本身的一些分析功能,联动着其他数据做展现。于是就有了本篇“Python爬数据,FineBI画图”的文章。想学习可以加Python学习(q-u-n )-227-435-450 即可获取,内附:开发工具和安装包,以及系统学习路线图

关于FineBI

这是一个可视化的自助式BI工具,整个操作就是导数据/连数据库——处理数据(可视化ETL)选择图表——拖数据字段——可视化展现&美化,操作简单上手快。小编只是用了其可视化的一隅功能,多数情况下,这个工具都是拿来做可视化报表,对接企业大数据平台,做企业数据运营分析用。

原理介绍

废话不多说,直接贴出操作。

因为想看看南京房价数据,但是网站上的很多数据都是以HTM5的形式进行呈现的,所以考虑通过Python来进行网页数据抓取和入库,数据分析方面通过FineBI工具直接连接数据库,分析和可视化呈现。

整体的思路:

数据层方面先通过Python抓取到WEB端的网页数据,之后对爬取到数据进行解析再而存储到MYSQL数据入库;

最后应用层的数据处理、数据计算统计、图表可视化呈现等工作全都交由FineBI工具来做。

原文链接

你可能感兴趣的:(黑科技! 当会Python爬虫遇上会画图的FineBI……)