32、Power Query-利用自定义函数获取指定页数数据
本节要点：Power Query-利用自定义函数获取指定页数数据
我们前面不是有一节已经讲过如何获取网页的数据了么？
http://blog.csdn.net/zhongguomao/article/details/53908101
细心的朋友或许已经发现，之前获取的网页数据比较不灵活，仅仅是当前页面的数据，若是有好多页的数据，之前的方法貌似不好使。
今天我们就简单的带大家认识一下Power Query里“M语言”的自定义函数的应用。
实例网站：http://union.mop.com/rank?pageNum=1&type=
可以看到这里的数据不止一页，我们如何去动态获取这些记录。
我们从这个网址上分析得出，这个页码是根据下图进行动态变动：
比如我们将这个“1”改为“2”。
即显示了第二页的所有20条记录。
接下来的重点就是如何去动态构造这些页码呢？
答案自然存在于我们的“高级编辑器”里面。
let
源 = Web.Page(Web.Contents("http://union.mop.com/rank?pageNum=2&type=")),
Data0 = 源{0}[Data],
更改的类型 = Table.TransformColumnTypes(Data0,{{"排名", Int64.Type}, {"联盟名称", type text}, {"等级", Int64.Type}, {"人口", Int64.Type}, {"声望", Int64.Type}, {"盟主", type text}})
in
更改的类型我们简单看一下代码结构，从“let”到“in”发现其实PQ的每一个步骤都是用一个函数来构成的，说底层一点，PQ就是由无数个函数集堆积而成的。
“in”则是返回最后一步。
接下来我们需要自定义函数，现在我们对这个语言还不是很熟，先依葫芦画瓢。
let Getdata = (pg)=>
let
源 = Web.Page(Web.Contents("http://union.mop.com/rank?pageNum="&pg&"&type=")),
Data0 = 源{0}[Data],
更改的类型 = Table.TransformColumnTypes(Data0,{{"排名", Int64.Type}, {"联盟名称", type text}, {"等级", Int64.Type}, {"人口", Int64.Type}, {"声望", Int64.Type}, {"盟主", type text}})
in
更改的类型
in
Getdata我们试一下调用第一页。
发现这个类型不同报错了。网址中需要的是文本型的“1”，看来是需要函数来转换，我们暂且不管。
我们改名为“page”，从右侧可以看到，有一个步骤是“Getdata”。
这个时候我们新建一个空查询，比如要查询前10页的数据。
我们的目的是要让这1~10赋值到上面的参数里面，进行获取数据源。
它有两个要求：
1、必须要求是文本Text；
2、增加一列，引入这个函数；
使用的是“page（）”这个函数（这个函数的作用就是为了提取网页的数据），把前面一列的值引入进来，即：“”。
得到如下结果：
数据源获取到了，我们扩展即可。
插入切片器，可以进行灵活的查询。
缺点：速度奇慢。