前端自动话操作应用很广泛,从网购秒杀活动实现自动化抢购,到区块链货币高频交易前端脚本编写(非合作交易所不提供api的情况下)。
自动化的流派分为2类,一类是对DOM对象进行解析的,这个是主流,但是受特定平台的限制,而且一定目标前端代码变了,自动化脚本一般都要重写。
另一个就是近年来出现的“非主流”--sikuli。它是通过类似图像识别的原理进行自动化操作的,不受目标前端代码修改的影响。
之前在工行因为自动化测试的原因,研究过一下sikuli,记录在这里:
相比selenium,简直是神器:
1.不仅能够用在web上,而且能用在exe上,估计新终端也能够用(终于解决了这个最大的问题)
2.脚本编写的易学性、工具的易用性还不错
3.从目前情况看工具还是稳健的,安装也方便(我部的jdk普遍是1.6左右,正是推广的黄金时期)
下载安装:
http://www.sikuli.org/download.html 注意:目前其仅主持32位的1.6版本的jdk,下载的包很小20m,解压后就可以运行,目前最新版本是r930
运行时注意事项:
1.有个很好地“迷惑”或者提升执行通过率的方法,就是打开那个html页面,还有不能打开程序目录,因为哪里有各种要用的图标。。
2.有多个屏幕对程序运行的影响还待考察(案例编写必须严格在一个屏幕下进行,否则复杂度大大提高,我把notes扔到另外一个屏幕,结果脚本报错) 另外,截图要用他自带的工具比较方便
3.注意python语法, 没有类型if等不用括号用缩进(科技极简主义) java要编译,而python不用 python没有class和main函数
4.最危险的是“起飞”阶段 如何打开一个应用?
能想象一下,如下两个图标的不同,就让脚本无法运行(j见附图)
5.大规模脚本如何编写规范?首先,桌面主题就要统一,否则可能对截取造成问题
以如下问题为例子,经我的windows换用windows经典主题后,我在工行主题上截取的图,就无法使用了,脚本无法运行
因为界面现在看起来已经是这样了
但是用win7透明主题,倒是可以运行脚本的
(注意颜色深度的变化,所以sikuli有一定的变化兼容性,但是尽量不要有这方面的尝试)
6.桌面上存在小工具遮挡的时候也不行
总结:不能有遮挡 不能有多屏 不能有截图
sikuli的代码简单到什么程度呢?下面这个截图可以说明一切,这是个我写的邮箱自动登录的代码,几乎是人都可以看懂,这是sikuli最大优势:
那么问题来了?现在是图形的识别,如果做断言呢?现在这个工具还只是操作自动化的工具
图形断言:可以使用exists()来判断操作成功后的打勾是否存在
文字断言:需要使用OCR功能,
首先,sikuli绝对有OCR功能,他的截图命名,就是用识别后的文字命名的
sikuli的好处:
1/代码的易读性(readableusable)
2/易读性带来的可传承性(用来培训和教学非常不错,传统的教程都说stepby step,而且配图,关键是这两者sikuli都有,而且还能够机器执行)
以前的说明书,用命令行的,都是描述非常清楚,但是图形界面的就麻烦了;很多时候采用截取全图的方式,那样说明书的体积又太大了
3/电脑视觉的延伸, 看自己输出生成的画面,更加智能化
4/可扩展性 这个目前和watchman是一样的都说基于通用的脚本语言,可以使用脚本语言的函数库(python+java)
有没有可能把selenium和sikuli结合起来?这个问题可以好好研究。前端自动化的春天来了~~