QlikView实现部分载入数据的功能(Partial Load)

问题背景：

一直非常想不通，公司花了N多钱请了一帮QlikView的Consultant做出来的solution居然没有涉及Reload的部分，以至于每次刷新数据都须要刷新整个Data Model，之前和部门同事讨论的时候我还信誓旦旦的说QlikView就仅仅能这样了，找不到方法仅仅将新数据刷新到Data Model中而不用又一次load之前已经在Memory里面的数据。

幸而今天一位朋友提到了Add Load中的Partial Load，于是便查了一个小时的Google，经过回来试验之后，豁然开朗了，后续再过一年半载，小哥我能够又一次改写公司的solution。哈哈，美梦到此为止，以下開始进入主题：

 

什么是Partial Load：

顾名思义，Partial Load就是部分载入数据的意思，比方数据仓库中维度表的数据源有数据来要插入到数据库中的时候，会用Merge来控制仅仅添加�或者更新数据，而对已经存在于数据库中没有不论什么变化的数据不做处理。对QlikView，我们能够想象一下，因为QlikView将数据导入到内存中，那么在又一次载入数据到内存中的时候，有没有一种方法是对在内存中不变的数据不作处理，而仅仅用载入新的数据进去呢？今天我试验的结果是肯定的，用以下的方法就能够。 

LET vTimeStart = Now();



FOR vI = 1 to 1000

	LOAD

		$(vI) as SellerId,

		$(vI) as Sales

	From

		TestAdd.csv;

Next;



TestAddTable:

Add LOAD

	SellerId,

	Sales

From

	TestAdd.csv

	(txt, codepage is 936, embedded labels, delimiter is ',', msq)

Where

	not Exists(SellerId);



LET vTimeEnd = Now();

注意：TestAdd.csv文件要和QVW文件放在一个文件夹下，否则须要写TestAdd.csv的全路径。将上面的QlikView代码复制到QlikView Script中去之后，点击Reload；

因为For ... Next语句里循环载入了1000条数据，TestAdd.csv文件里開始仅仅有以下一条数据：

SellerId, Sales

10000123,987654321

因此数据载入完成之后，在Data Model里面预览TestAddTale里的数据如为：。

然后再往TestAdd.csv文件里新添加�一条数据，TestAdd.csv中的数据变为：

SellerId,Sales

10000123,987654321

12332112,312677876

在报表中新建一个文本对象，公式为：=Second(vTimeEnd - vTimeStart)，结果为5秒左右表示整个Reload用了5秒。

 

以下激动人心的时刻到了，点击Partial Load(File - > Partial Reload)，数据瞬间载入完成，页面上的文本对象已经变为了0，表示这次数据载入所用的时间差点儿为0. 再Preview一下Data Model里面的TestAddTable里的数据为： 新数据已经载入进去，老数据依旧在内存中没有变化。

因为加了Not Exists的过滤条件，因此第一条数据10000123,987654321，不会被再次载入到Data Model中。(我会在另外一篇文章中具体描写叙述Exists的作用) 某则将出现两条一模一样的数据。

 

Partial Load在实际工作中的使用展望：

在我发现这个功能之后，被小伙伴们质疑在现实项目中是否实用武之地，我想了想，肯定是实用的，仅仅是受制于如今的solution，假以时日等小哥技术成熟了，肯定能写出一套更好的solution。比方能够这样用：对于月更新的数据，就用一般的Load方式，对于每天要刷新的文件，就用Add Load的方式进行Partial Load，这样就不会每次刷新Daily文件的时候也把Monthly的数据一起刷新了。

 

结语，如今俺也是接触QlikView不久。有言论不对之处，各位小伙伴多多不吝赐教。