前言
最近在玩儿公主连结，之前也玩儿过阴阳师这样的游戏，这样的游戏都会有个初始号这样的东西，或者说是可以肝的东西。
当然，作为一名程序员，肝这种东西完全可以用写代码的方式帮我们自动完成。游戏脚本其实并不高深，最简单的体验方法就是下载一个Airtest了，直接截几个图片，写几层代码，就可以按照自己的逻辑玩儿游戏了。
当然，本篇文章不是要讲Airtest这个怎么用，而是用原始的python+opencv来实现上面的操作。
这两天我写了一个公主连结刷初始号的程序，也不能算写游戏脚本的老手，这篇文章主要是分享一些基础的技术和使用上的心得吧。
准备工作
首先，我们要完成以下准备。
安卓设备一个：模拟器或者真机都可以。
安装ADB，并添加到系统的PATH里：adb是用来
安装tesseract-ocr，并添加到系统的PATH里：帮助我们实现简单的字符识别
安装python3.7以上的版本
这里adb和tesseract我放在百度网盘里了，里面顺便放了一个录制的效果视频。
链接：pan.baidu.com/s/1edTPu2o7… 提取码：33aw
python库安装
pipinstall pillow pytesseract opencv-python复制代码
除此以外，如果有需要可以安装uiautomator2，这篇文章就不涉及这块知识了。
使用adb获取安卓设备
这里我们主要是涉及到单个安卓设备的ADB连接操作，首先我们打开模拟器。
然后我们调用adb devices来获取当前的安卓设备，我这里是一个模拟器。
接下来可以调用adb shell测试一下是否能进入到安卓设备的shell环境下，确认可以输入exit退出即可。
如果有的时候进不了shell，可以先调用一下adb kill-server，然后再调用adb devices。
可能常用的ADB Shell命令
接下来是一些ADB的命令操作。通过adb命令，我们可以用python来操作的安卓设备。
屏幕截图
最常见的操作就是截图了，先调用screencap截图放到安卓设备里，然后再把截图下拉到电脑。
deftake_screenshot():os.system("adb shell screencap -p /data/screenshot.png")os.system("adb pull /data/screenshot.png ./tmp.png")复制代码
下拉文件
下拉文件就是刚刚那个adb pull了，以公主连结为例，以下代码可以导出账号信息的xml，以后通过xml就可以登录了。
os.system(f"adb pull /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml ./user_info.xml")复制代码
上传文件
有了下拉自然就有上传了，通过adb push即可完成。以公主连结为例，以下代码可以完成账号的切换。
# 切换账号1os.system("adb push ./user_info1.xml /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml")# 切换账号2os.system("adb push ./user_info2.xml /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml")复制代码
点击屏幕某个位置
defadb_click(center, offset=(0,0)):(x, y) = center x += offset[0] y += offset[1] os.system(f"adb shell input tap{x}{y}")复制代码
输入文字
text ="YourPassword"os.system(f"adb shell input text {text}")复制代码
删除字符
有的时候输入框会有输入的缓存，我们需要删除字符。
# 删除10个字符foriinrange(10):os.system("adb shell input keyevent 67")复制代码
查询当前运行的包名和Activity
通过以下代码，可以查询当前运行的程序的Activity，也可以顺便查包名。
adbshell dumpsys activity activities复制代码
停止某个应用
有时候会需要停止某个应用，需要提供应用的包名。
adbshellamforce-stoptw.sonet.princessconnect复制代码
开启某个应用
开启某个应用需要提供包名以及Activity。
adbshell am start -W -n tw.sonet.princessconnect/jp.co.cygames.activity.OverrideUnityActivity复制代码
图像操作
对于图像的操作第一就是图像查找了，比如说像Airtest提供的这种，无非就是判断某个图像在不在截屏中，在的话在什么位置。
除此之外还需要一些抠图，比如说我们想获取账号的id，账号的等级，需要截取出一部分图片然后进行OCR操作。
图像查找
图像查找其实就是先拿到两张图片，然后调用cv2.matchTemplate方法来查找是否存在以及位置，这里匹配是一个相对模糊的匹配，会有一个相似度的概率，最高是1。我们设定一个阈值来判断模板是否在截屏里即可。
这里截屏如下，文件名为tmp.png：
模板如下：
代码如下：
importcv2defimage_to_position(screen, template):image_x, image_y = template.shape[:2] result = cv2.matchTemplate(screen, template, cv2.TM_CCOEFF_NORMED) min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result) print("prob:", max_val)ifmax_val >0.98:globalcenter center = (max_loc[0] + image_y /2, max_loc[1] + image_x /2)returncenterelse:returnFalseif__name__ =="__main__": screen = cv2.imread('tmp.png') template = cv2.imread('Xuandan.png') print(image_to_position(screen, template))复制代码
运行上述代码后，可以看到模板匹配出来的概率为0.9977，位置为(1165, 693)，对于一张图片，左上角为原点，因为我的分辨率是1280 * 720，那么右下角的坐标就是(1280, 720)。可以看到我们这个选单其实就是刚好在右下角的位置。
如何快速裁剪模板？（win10）
游戏脚本其实并不是代码很难写，而是需要截很多的图，这些图要保证分辨率和原始一样。我发现在win10如果用画图打开图片
可以保证使用QQ截屏出来的分辨率，和图片本身的分辨率一样。
这个时候直接用qq截屏出来的模板即可直接用于识别。
图像裁剪
接下来就是有时候需要裁剪一些图像了，当然我们的模板图片也可以通过裁剪图片的方式得到，这样的模板图片是最准的。
裁剪其实就是需要裁剪的位置，以及需要的高度和宽度，说白了就是一篇长方形的区域，下面的代码使用PIL库实现。
fromPILimportImagedefcrop_screenshot(img_file, pos_x, pos_y, width, height, out_file):img = Image.open(img_file) region = (pos_x, pos_y, pos_x + width, pos_y + height) cropImg = img.crop(region) cropImg.save(out_file) print("exported:", out_file)if__name__ =="__main__": crop_screenshot("tmp.png",817,556,190,24,"test_id.png")复制代码
上面的代码以截取玩家的id为例。
运行代码后，得到截图如下：
简单的OCR
得到了以上的图片信息后就是进行OCR了，也就是光学字符识别。这里代码非常简单，只要调用API即可。
fromPILimportImageimportpytesseractimage = Image.open('test_id.png')content = pytesseract.image_to_string(image)# 识别图片print(content)复制代码
不过需要注意的一点就是pytesseract识别出来的结果会有空格符，换行符这样的符号，真正要用的时候进行一些字符的过滤即可。
The End
这篇文章到这里就结束了，主要还是介绍一些ADB以及图像相关的基础操作。谢谢大家的观看。
本文的文字及图片来源于网络加上自己的想法, 仅供学习、交流使用, 不具有任何商业用途, 版权归原作者所有, 如有问题请及时联系我们以作处理。