前几周，很流行一个手机游戏，叫《家国梦》。我在手机上玩了一两天后，发现了两个问题：
1. 收货收金币太没意思，只需要手指滑在固定的路线，一会儿就烦了
2. 怎么追赶也追不上手快的人（当然也需要一定策略）
我刚玩这个游戏的时候，还能在好友里排名第一，但三四天后就落到了第三，真是比不过年轻人。。。
正好最近在研究LabVIEW里面关于Vision的东西，就在想能不能写个自动收货收金币的程序，能够晚上临睡前让程序跑起来，早上起床时候红包就可以收获很多。说干就干！
框架设计
整体思路就是用图像识别的算法识别小火车上面是什么货物，然后把货物运到对应的建筑物那里。
经过对截图的研究，发现游戏有如下特点：
1. 小火车每次停留最长约90s，而且每次最多运3种货物，每种货物数量一般都在5个以内
2. 小火车上面的货物会随机掉落一些奖励（后来我同事告诉我其实有策略的，但我也懒得去考虑了）
3. 点击建筑物可以收获金币，并且也会随机掉落奖励（红包、蓝星币、贡献值）
基于以上三点，就可以设计框架了。
1. 首先要有一个while loop一直在跑，这样才能不停地自动收货物收金币，在这里while loop设置成一次loop跑4s
2. 然后在while loop里面要有这几个模块：采集图像、识别目标、搬运货物（收金币）。
采集图像
这里我们用的是蓝叠模拟器跑《家国梦》这个游戏，因为不需要真机，而且它也支持ADB，所以会很方便。
一开始我想的是，把Android模拟器开在桌面上，然后用LabVIEW对整个桌面截图，再把游戏的那部分截图抠出来。这样我也尝试去实现了，但是效果不大好，因为抠出来的游戏图案部分，和Android模拟器的分辨率不一样，也就是说模拟器把显示的大小做了压缩。
所以我就干脆直接用ADB截图，截完图传到PC，然后再做分析。ADB截图指令参考了这个帖子：https://www.cnblogs.com/guoguojiang/p/10347211.html
1. 用ADB发送截图指令（adb shell screencap -p /sdcard/screen.png）
2. 用ADB指令把截图传到PC上（adb pull /sdcard/screen.png）
3. 用Vision里的API去打开本地的png文件，并准备传给后续的图像处理部分。整个代码是这样子的：
4. 删除刚刚传过来的图片
识别目标
在LabVIEW的vision工具包里，有专门用于pattern matching的API，那么我这里选用了我之前用过的模板匹配的相关API。关于这个API也不细讲，因为vision的工具包也自带了例子，很容易就可以用起来，最简单的使用流程就是先学习模板，然后再去识别目标图中有没有模板信息。
1. 首先要截出不同的模板，把所有的特征部分图案截取出来，另存为png文件。在这里要注意的是，有些特征可能会随机出现在三段车厢的任意一个车厢上，不同车厢模板的图案略有不同，需要多截图几张在不同车厢的图。
2. 整个算法流程是，先load所有的模板（因为load+learn模板很慢，所以要先load好），然后对采集的图像做几何模板匹配，如果找到了模板的团，就把它滑动到对应的建筑物那里。如果没有找到模板，那就收集建筑物那里的金币。
在这里有一些优化算法的小办法，例如设置ROI为小火车周围的一小片区域，这样索索范围会大大减小。通过这种匹配算法，就可以把货物的坐标找到，传给后面的搬运货物模块。在下图的代码里，输入有十几张模板图，以及我们的游戏截图；输出的是检测到的货物position以及货物的index，这是为了方便找到对应的建筑物坐标（建筑物坐标实现存储好，可以认为是和index一一对应的hash-map）。在这里认为score到了900分以上才是检测到了模板（匹配的score在0-1000之间，越高表示匹配度越高）。
搬运货物（收金币）
搬运货物很简单，既然拿到了货物的坐标xy，以及对应建筑物的坐标xy，那么用类似如下的ADB的指令就可以了。
adb shell input swipe 250 250 300 300
在没有找到货物的时候，就可以去收金币，也是发送ADB指令就可以，但需要连续收取9个建筑物的金币，可以用一个ADB指令队列，从第一个建筑物滑倒第九个，然后再回到第一个。
结果
结果可以看下这个视频，其实ADB指令跑起来是非常慢的，都是大于我设置的loop rate（4S），但是就先这么样吧。
https://v.youku.com/v_show/id_XNDQwNDY2Mzg0MA==.html?spm=a2hzp.8244740.0.0
一晚上大概能有100个红包，以及几百的贡献值，不过小火车每天供货有限额，送完当天就不送了（这个真没想到，因为之前从没收满过）。
扩展
1. 因为跑两个晚上就会有200+个红包，手动去开红包太累，索性做了个自动开红包的程序。思路非常简单，就是用ADB指令定时模拟点击，而且也可以支持多种红包，画册开启，这样省了不少力气。
2. 因为截图很麻烦，所以也写了一个可以方便画框框存模板的小工具。
以后如果有新需求的话，再继续新功能吧。代码写的不好，也就是凑合能用而已，欢迎交流。