power bi抓取网页数据过程及常见问题

一、从web端获取数据

从bi desktop的“获取数据”中的“web”选项即可，“web”界面有“基本”和“高级”两个选项卡，通常情况下，“基本”选项卡即可满足日常工作需要，以下皆以此为例。

二、获取数据

输入web链接之后，会进行导航器的“加载”“编辑”等常见功能，只需要按照实际工作需要进行操作即可。

三、获取多网页数据

web链接常见格式如下：http://quote.stockstar.com/stock/ranklist_a_3_1_1.html，最后的“1”即表示当前链接为数据的第一页，则第二页数据链接应该是“http://quote.stockstar.com/stock/ranklist_a_3_1_2.html”。当网页数据较大时，如果每次都通过web链接进行数据获取，则会消耗大量时间。但是在组件query中有相应的功能可以简化操作，具体如下：

当获取某一页数据之后，进入“编辑查询”界面，在编辑查询界面选择“高级编辑器”选项卡，高级编辑器界面内为当年的工作路径。类似下图：

这时候需要在“let ”前面输入“(p as number) as table=>”；并且在链接中把网页页码，即上文提到的“1,2”等数字修改“(Number.ToText(p))”即可。

备注：web链接分为两种，一种是页码数据在链接最后，按照上述操作即可；另外一种是链接以.html结尾，此种类型除了上述替换操作以外，_"&(Number.ToText(p))&".html"))只需要按此将html单独定义一下即可。

四、抓取多数据网页

首先使用空查询建立一个数字序列，如果想抓取前100页的数据，就建立从1到100的序列，在空查询中输入={1..100}回车就生成了从1到100的序列，然后转为表格。

然后调用自定义函数，

在弹出的窗口中点击【功能查询】下拉框，选择刚才建立的自定义函数Data_Zhaopin,其他都按默认就行，

点击确定，就开始批量抓取网页了，这样就抓取成功了。后续根据工作需要进行相应操作即可。