PowerBI获取Post请求的网络数据

本文粗略的介绍遇到网页的数据需要使用POST方法时，PowerBI怎么能够获取到数据。

讲正题之前，闲聊两句。在很久之前，貌似在Excel集成Power Query之前，有个功能是提供一个url，然后可以预览网页。这时候网页上预览到内容如果有表格之类的内容，表格之前有个按钮，点击这个按钮，就可以把网页的内容抓取到表格中。

这个功能本来我以为微软会做一些改进，比如支持翻页啥的。然而，后来出了PowerBI，翻页倒是支持了，但我想要的可以选择的内容却不知道在哪儿选了（实际上可能是改进的操作流程在list和record之间的转换我没有完全理解）。

直到今天，看到基金网站的数据，可以通过POST方法传入基金的ID等数据，请求相关接口返回json数据。于是想到是否可以通过PowerBI来实现自动数据获取。

然后就试了一下，还真行。最后发现一条挺通用的路：PowerBI请求数据→M语言进行数据处理/不行的话Python或R脚本→DAX再进行处理/不行的话再Python或R脚本→PowerBI展示。这条通路还真是不错，即解决了Python在绘图方面的无力（对我来说），又解决了PowerBI在数据处理方面的无力（还是对我来说）。

我们以景顺长城基金数据来举例：

1. 首先在基金的详情页可以看到基金的净值数据：中证500行业中性低波动指数（基金代码：003318）
   

   基金净值数据

2. 然后F12，再刷新一下网页，可以看到各种请求，在其中的一个JSON请求中，可以看到包含navList的数据就是净值的数据（这个过程似乎没啥简便方法，就是一个个的请求找，然后对比网页上显示的数据）

   
   
   请求数据

3. 再看看请求的数据，没错，POST方法，带了2个参数：funcNo，好像是一个功能id之类的，不管基金代码是啥，都带上这个号就行了。fundid就是基金代码。

基金净值数据的请求内容

4. 接下来我们来手写M代码，实现数据获取

let
    url="http://www.igwfmc.com/servlet/json",
    query=[funcNo="904104",fundid="003318"],
    源 = Json.Document(Web.Contents(url,[Query=query]))
in
    源

点击确定后，我们得到了3个list，对比一下，可不真是我们第2步中看到的json里面的3个对象嘛！

返回的数据

5. imcomList对应的是基金收益走势图的数据，navList对应的是基金净值走势图的数据。所以我们点击navList，然后点击菜单栏的转换到表，然后如下图操作：

   
   
   将数据转化出来

然后数据就出来了：

最终数据

6. 转化数据：我想获取数据，并计算一下每周、每月哪一天的基金是下跌的（下跌的时候买，似乎比较容易赚钱），这样来决定按周或按月定投确定在哪一天（注意这个方法可是很粗糙，郑重声明：模仿造成的收益损失都与本人无关）。

所以我们还需要计算一下每天的涨跌幅度，计算涨跌，其实就是：(今日数据-昨日数据)/昨日数据。然而，PowerBI中我并不会操作，DAX感觉还可以研究一下搞出来，M就别说了。

不过幸好，这里可以用Python，于是增加一步（注意上面出来的数据都是文本，所以先把我们需要的数据sumofnav转换成数值后再编Python代码），点击转换菜单中的运行Python脚本，并输入：

# 'dataset' 保留此脚本的输入数据

import pandas as pd

dataset=pd.DataFrame(dataset)
dataset['pct_change']=dataset['sumofnav'].pct_change(1)

7. 然后又搞出个table，然后有扩展操作一下（参考第5步），涨跌幅数据就出来了

   
   
   增加涨跌幅列

8. 之后就是各种计算，比如把涨跌幅分成：涨、平、跌，或者：大涨、涨、平、跌、大跌。然后设置好其他的数据格式，和日期表结合，形成按周几、按日的统计。

来看看结果（这个结果不是开始的那个基金，是另一个基金的）：

什么时候投知道了吧

所以：周四投，稳赢；7、11、16、17、25这几天投也稳赢？
算了，还是别信这个了，分年来看，结果大不相同。
想稳赢，怕还是不行。