UI 自动化-krunner

一、krunner原理

1.  安卓native：基于uiautomator2，在手机上运行一个http服务器，将uiautomator中的功能开放出来，再将这些接口封装成Python库
2. 安卓H5：uiautomator2支持原生webview测试，使用Chromedriver，通过Chrome的remote debugging来控制。而定制化webview则需要通过注入js代码来实现元素属性的获取和操作，大概原理就是通过adb forward开通Chrome remote debugging端口，然后创建一个websocket链接，将你的js代码注入到runtime的程序中
3. ios：通过wda在ios端实现一个webdriver server，然后通过iproxy将端口映射到对应的执行机器上，借助这个server我们就可以远程控制ios设备

二、元素定位

1. native元素定位：继承uiautomator2和wda的所有的属性定位方式，Android可以通过resourceId、text、className、Xpath等；IOS端可以通过id，name、className、Xpath、labelContains等
2. webview元素：通过id、text、className、xpath、cssSelector等来定位
3. OCR识别：依赖MMU的识别服务（内部提供）
4. 屏幕百分比定位
5. 图像识别：依赖OpenCV的模板匹配（校验图像输入、计算模板匹配的结果矩阵res、依次获取匹配结果、求取可信度、求取识别位置）和特征匹配（校验图片是否正常、获取特征点集并匹配出特征点对、根据匹配点对提取出来识别区域、根据识别区域求出结果可信度）